Elasticsearch 電商場(chǎng)景：明明有這個(gè)關(guān)鍵詞，但是搜不出來(lái)，怎么辦？

作者：銘毅天下 2024-05-13 10:24:09

本文是基于實(shí)戰(zhàn)問(wèn)題的思路探討。要說(shuō)明的是：Ngram 的本質(zhì)是空間換時(shí)間，可能會(huì)導(dǎo)致寫入的延時(shí)以及存儲(chǔ)的成倍增長(zhǎng)，選型一定要慎重。

1、實(shí)戰(zhàn)問(wèn)題

場(chǎng)景：電商創(chuàng)業(yè)公司（非傳統(tǒng)巨頭）
讀者描述需求：

content是一個(gè)text類型，用的 ik_max_word 分的詞，需要根據(jù)關(guān)鍵詞做精準(zhǔn)匹配，并且按照發(fā)布時(shí)間倒序。

比如我搜：小米6s，搜出來(lái)的結(jié)果要精確匹配到：小米6s，并且按照用戶的發(fā)布時(shí)間倒序排序。

現(xiàn)在的問(wèn)題是用 match_pharse 搜索的時(shí)候，有時(shí)候文檔里明明有這個(gè)關(guān)鍵詞，但是搜不出來(lái)，嘗試了好幾種手段......

熟悉咱們公眾號(hào)推文的同學(xué)應(yīng)該知道，咱們分別在 2018年、2020年、2022年都做過(guò)多次類似問(wèn)題的討論。

探究 | 明明存在，怎么搜索不出來(lái)呢？

Elasticsearch能檢索出來(lái)，但不能正確高亮怎么辦？

由 Elasticsearch 空間換時(shí)間的線上問(wèn)題說(shuō)開去......

2、重新梳理一下檢索認(rèn)知

2.1 分詞和詞典的本質(zhì)

數(shù)據(jù)索引化的過(guò)程是借助分詞器完成的，如讀者的分詞器是 IK 中文分詞器。

問(wèn)題來(lái)了？IK 中文分詞器能包含全部的詞匯嗎？

大家看 medcl 大佬開源的 IK 分詞器的源碼中能找到 main.dic 大小是 2.92 MB。并且這個(gè)詞典 8 年+ 沒(méi)有更新過(guò)。

圖片

顯然：IK 默認(rèn)詞典覆蓋不了全部詞匯，尤其諸如“顯眼包”、“小米14”、“奧利給”、“葉氏那拉”等的新詞。如下截圖是我自定義的詞典的詞庫(kù)檢索截圖。

圖片

再來(lái)一波舉例看看：

PUT my_index_0512
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "ik_smart",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

POST my_index_0512/_bulk
{"index":{"_id":1}}
{"title":"奧利給是一個(gè)網(wǎng)絡(luò)流行詞，第一次出現(xiàn)在一名快手主播直播時(shí)說(shuō)的正能量語(yǔ)錄里。"}


## 分詞為：“奧利” 和 “給” 兩個(gè)詞
POST my_index_0512/_analyze
{
  "text":"奧利給是一個(gè)網(wǎng)絡(luò)流行詞，第一次出現(xiàn)在一名快手主播直播時(shí)說(shuō)的正能量語(yǔ)錄里。",
  "analyzer":"ik_smart"
}

## 檢索不能召回結(jié)果，這里用 term 主要說(shuō)明問(wèn)題，合理性待商榷！
POST my_index_0512/_search
{
  "profile": true, 
  "query": {
    "term": {
      "title": "奧利給"
    }
  }
}

圖片

結(jié)論：詞典決定分詞，詞典里沒(méi)有的詞，極大可能（有一定概率，比如：match_phrase 詞+詞組合的情況）檢索會(huì)檢索不到。

ps: 關(guān)于 term、match、match_phrase 區(qū)別等，推薦閱讀：檢索選型。

2.2 全文檢索的本質(zhì)

全文檢索的本質(zhì)是查詢待檢索的關(guān)鍵詞在寫入所創(chuàng)建的索引中是否存在的過(guò)程。

存在，則召回；不存在，則返回空。

2.3 明明有這個(gè)關(guān)鍵詞，但是搜不出來(lái)的本質(zhì)

表面上可以看出，之前咱們2018年、2020年、2022年討論的方案用 match、match_phrase、match_phrase_prefix 等再結(jié)合 slop，貌似能解決一些問(wèn)題，好像有些不召回的情況，可以召回了。

但，依然治標(biāo)不治本。依然會(huì)存在一些“新詞”、“詞典里沒(méi)有的詞”等看似明明一段話里存在的詞，就是檢索不到的原因。

3、能不能根治呢？

答案：不完全能！

但，可以嘗試空間換時(shí)間，借助 Ngram 能解決 99% 以上場(chǎng)景的問(wèn)題。

針對(duì)讀者的問(wèn)題，借助 Ngram 分詞實(shí)操一下：

### 3.1 創(chuàng)建索引
DELETE new_spy_uat2
PUT new_spy_uat2
{
  "settings": {
    "index.max_ngram_diff": 10,
    "analysis": {
      "analyzer": {
        "my_analyzer": {
          "tokenizer": "my_tokenizer",
          "char_filter": ["my_char_filter"]
        }
      },
      "char_filter": {
        "my_char_filter": {
          "type": "pattern_replace",
          "pattern": "[^\\p{L}\\p{N}\\s]+",
          "replacement": ""
        }
      },
      "tokenizer": {
        "my_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 10
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "my_analyzer",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

在提供的 Elasticsearch 配置中，my_tokenizer 是一個(gè)基于 n-gram 的分詞器，配置了從最小 2 個(gè)字符到最大 10 個(gè)字符的 n-gram。

在《一本書講透 Elasticsearch》第6.4 章節(jié) P111 解讀了自定義分詞器的三大核心組成：

character filter
tokenizer
token filter

咱們上面的“my_char_filter”定義了文本在分詞前進(jìn)行預(yù)處理的字符過(guò)濾規(guī)則。實(shí)際是使用正則表達(dá)式刪除所有非字母、非數(shù)字、非空格字符，只保留字母、數(shù)字和空白字符，中文字符是可以保留的。

N-gram 是一種分詞方法，通過(guò)從文本中提取 n 個(gè)連續(xù)字符的滑動(dòng)窗口來(lái)創(chuàng)建詞元（tokens）。這種方法在處理需要部分匹配和模糊搜索的應(yīng)用中非常有用，比如搜索建議和拼寫錯(cuò)誤的容錯(cuò)處理。

在這種配置下，文本會(huì)被分解成所有可能的 2 到 10 個(gè)字符的組合。

例如，要執(zhí)行如下檢索：

POST new_spy_uat2/_analyze
{
  "analyzer":"my_analyzer",
  "text":"奧利給這幾年才流行"
}

分詞結(jié)果如下：

圖片

這種方法可以大大增加索引的大小因?yàn)槊總€(gè)詞都被分解成多個(gè)子詞，但同時(shí)也提高了搜索的靈活性和準(zhǔn)確性，尤其是在搜索短文本或關(guān)鍵詞片段時(shí)。

這樣的分詞器尤其適合于搜索引擎的自動(dòng)補(bǔ)全功能和處理用戶可能的輸入錯(cuò)誤，因?yàn)樗軌蛟谟脩糨斎氩糠中畔r(shí)就開始匹配相關(guān)的詞條。

3.2 導(dǎo)入數(shù)據(jù)

POST new_spy_uat2/_bulk
{ "index" : { "_index" : "new_spy_uat2", "_id" : "1" } }
{ "content" : "新品豪車??限1000單食物鏈巴氏小仙包犬濕糧360g??16.9，折??8.4/袋人食級(jí)鮮肉泥，健體增肌首選(gkqHWGV0r4J)/ AC01" ,"createTime":1715323447000}
{ "index" : { "_index" : "new_spy_uat2", "_id" : "2" } }
{ "content" : "??搶??嬰兒包單??12.3起????搶??嬰兒包單??12.3起????史D??愛(ài)貝迪拉包單??忦啦??小跑快沖，錯(cuò)過(guò)大腿拍青" ,"createTime":1714323447000}
{ "index" : { "_index" : "new_spy_uat2", "_id" : "3" } }
{ "content" : "盛夏光年gala青春版34/包?單拍好價(jià)???34/包?單拍好價(jià)?34/包?單拍好價(jià)???M-3XL碼  紙褲&拉褲?無(wú)卷 88vip疊+3富代" ,"createTime":1716323447000}
{ "index" : { "_index" : "new_spy_uat2", "_id" : "3" } }
{ "content" : "小米6s真便宜?34/包?單拍好價(jià)???M-3XL碼  紙褲&拉褲?無(wú)卷 88vip疊+3富代" ,"createTime":1716323447000}

3.3 驗(yàn)證分詞

POST new_spy_uat2/_analyze
{
  "analyzer":"my_analyzer",
  "text":"小米6s真便宜?34/包?單拍好價(jià)???M-3XL碼  紙褲&拉褲?無(wú)卷 88vip疊+3富代"
}

圖片

3.4 執(zhí)行檢索

POST new_spy_uat2/_search
{
  "query": {
    "match": {
      "content": "小米6s"
    }
  }
}

如上檢索必然能找回結(jié)果。

圖片

3.5 結(jié)合業(yè)務(wù)需求再完善檢索語(yǔ)句

POST new_spy_uat2/_search
{
  "query": {
    "match": {
      "content": "小米6s"
    }
  },
  "sort": [
    "_score",  // 先按相關(guān)性得分排序
    {
      "createTime": {
        "order": "desc"  // 再按發(fā)布時(shí)間倒序排序
      }
    }
    ]
}

此處需要結(jié)合業(yè)務(wù)情況具體問(wèn)題具體分析。