[[432709]]

在上一篇文章中[1]，我們討論了將ElasticSearch用作簡單的全文本搜索引擎，如何快速安裝和配置它以及如何將其集成到我們的.NET Web應用程序中。

今天，我們?nèi)匀灰陔娮由虅站W(wǎng)站中向您展示如何使用ElasticSearch的許多功能來改善搜索。

我們使用了沒有嵌套類的平面Product類來輕松管理搜索，但是這種方法有很多限制。然后，我們引入了一個新的數(shù)據(jù)模型，以便任何對象都是要建模的實體。一個文檔可以包含無限數(shù)量的相關字段和值(數(shù)組，簡單和復雜類型)，并保存為JSON文檔。

我們的模型產(chǎn)品類別已變?yōu)椋?/p>

public class Product 
{ 
    public int Id { get; set; } 
    public string Ean { get; set; } 
    public string Name { get; set; } 
    public string Description { get; set; } 
    public Brand Brand { get; set; } 
    public Category Category { get; set; } 
    public Store Store { get; set; } 
    public decimal Price { get; set; } 
    public string Currency { get; set; } 
    public int Quantity { get; set; } 
    public float Rating { get; set; } 
    public DateTime ReleaseDate { get; set; } 
    public string Image { get; set; } 
    public List<Review> Reviews { get; set; } 
} 

其中品牌，類別，商店評論和用戶類別分別是：

public class Brand 
{ 
    public int Id { get; set; } 
    public string Name { get; set; } 
    public string Description { get; set; } 
} 
 
public class Category 
{ 
    public int Id { get; set; } 
    public string Name { get; set; } 
    public string Description { get; set; } 
} 
 
public class Store 
{ 
    public int Id { get; set; } 
    public string Name { get; set; } 
    public string Description { get; set; } 
} 
 
public class Review 
{ 
    public int Id { get; set; } 
    public short Rating { get; set; } 
    public string Description { get; set; } 
    public User User { get; set; } 
} 
 
public class User 
{ 
    public int Id { get; set; } 
    public string FirstName { get; set; } 
    public string LastName { get; set; } 
    public string IPAddress { get; set; } 
    public GeoIp GeoIp { get; set; } 
} 

GeoIp是NEST庫中用于地理數(shù)據(jù)的類。產(chǎn)品索引已被簡單地命名為產(chǎn)品。我們以這種方式創(chuàng)建和配置了它：

client.Indices.Create(“products”, index => index 
    .Map<Product>(x => x.AutoMap()) 
    .Map<Brand>(x => x.AutoMap()) 
    .Map<Category>(x => x.AutoMap()) 
    .Map<Store>(x => x.AutoMap()) 
    .Map<Review>(x => x.AutoMap()) 
    .Map<User>(x => x.AutoMap() 
        .Properties(props => props 
            .Keyword(t => t.Name("fullname")) 
            .Ip(t => t.Name(dv => dv.IPAddress)) 
            .Object<GeoIp>(t => t.Name(dv => dv.GeoIp)) 
        ) 
    ) 
) 

我們專門為ElasticSearch索引創(chuàng)建一個名為fullname的新屬性，用于名為fullname的User類，并定義了將要處理的地理信息。 為了使我們的產(chǎn)品能夠在索引之前進行處理，一種有用的方法是node.ingest，即進行文檔預處理的節(jié)點。接收節(jié)點攔截所有索引請求，甚至是批量索引請求，并將所有定義的轉換應用于其內(nèi)容，然后將文檔發(fā)還給索引API。

必須通過以下參數(shù)在配置文件elasticsearch.yml中。

啟用node.ingest：

node.ingest: true 

在我們的示例中，我們使用相同的節(jié)點進行搜索和攝取，我們不需要編寫代碼來管理攝取節(jié)點，但是，如果我們要擁有一組專用的攝取節(jié)點，則必須配置ElasticSearch客戶如下：

var pool = new StaticConnectionPool(new []  
{ 
    new Uri("http://ingestnode1:9200"), 
    new Uri("http://ingestnode2:9200"), 
    new Uri("http://ingestnode3:9200") 
}); 
var settings = new ConnectionSettings(pool); 
var client = new ElasticClient(settings); 

為了對文檔進行預處理，需要在建立索引之前定義一個管道，該管道指定一組能夠轉換該文檔的過程。有許多默認過程可供使用。例如：GeoIP從IP地址獲取地理信息，JSON將字符串轉換為JSON對象，小寫和大寫，Drop刪除與某些參數(shù)匹配的文檔。您也可以創(chuàng)建自定義過程。我們在項目中使用的管道是：

client.Ingest.PutPipeline("product-pipeline", p => p 
                .Processors(ps => ps 
                    .Uppercase<Brand>(s => s 
                        .Field(t => t.Name) 
                    ) 
                    .Uppercase<Category>(s => s 
                        .Field(t => t.Name) 
                    ) 
                    .Set<User>(s => s.Field("fullname") 
                        .Value(s.Field(f => f.FirstName) + " " +  
                             s.Field(f => f.LastName))) 
                    .GeoIp<User>(s => s 
                        .Field(i => i.IPAddress) 
                        .TargetField(i => i.GeoIp) 
                    ) 
                ) 
            ); 

該管道處理文檔，以便：

• Brand.Name和Category.Name將通過大寫輸入以大寫形式索引;
• User.fullname將包含名字和姓氏(設置攝取);
• User.IPAddress將成為地理定位的地理地址(GeoIp提取)。

管道以ElasticSearch集群狀態(tài)保存，要使用它們，您必須在索引請求中指定管道參數(shù)，以便攝取節(jié)點知道必須使用哪個管道：

client.Bulk(b => b 
    .Index("products") 
    .Pipeline("product-pipeline") 
    .Timeout("5m")  
    .Index<Person>(/*snip*/) 
    .Index<Person>(/*snip*/) 
    .Index<Person>(/*snip*/) 
    .RequestConfiguration(rc => rc 
        .RequestTimeout(TimeSpan.FromMinutes(5))  
    ) 
); 

通過這種方式，我們定義了索引編制過程，以便我們可以根據(jù)需要獲取文檔清單。在使用創(chuàng)建的管道為文檔建立索引之后，我們可以通過使用瀏覽器http：// localhost：9200 / products / _search進行訪問來檢查它們。我們得到類似于以下結果：

如上一篇文章所述，搜索過程基于文檔分析。這是第一個階段的令牌化過程(將文本分成小塊，稱為令牌)，另一個是規(guī)范化過程(它允許您查找與不等于搜索詞但足夠相似以至于相關的令牌的匹配項)為搜索建立索引的文本。分析儀執(zhí)行此過程。

分析儀由三個主要部分組成：

1.0個或多個字符過濾器

2.1個分詞器

3.0個或多個令牌過濾器

有一些默認的分析器可以使用，但是，為了根據(jù)我們的要求提高搜索的準確性，我們創(chuàng)建了一個自定義分析器。

定制分析器使我們能夠在分析過程中控制令牌化之前對文檔的任何更改，如何將其轉換為令牌以及如何對其進行規(guī)范化。

這是我們的自定義分析器：

var an = new CustomAnalyzer(); 
an.CharFilter = new List<string>(); 
an.CharFilter.Add("html_strip"); 
an.Tokenizer = "edgeNGram"; 
an.Filter = new List<string>(); 
an.Filter.Add("standard"); 
an.Filter.Add("lowercase"); 
an.Filter.Add("stop"); 
 
settings.Analysis.Tokenizers.Add("edgeNGram", new Nest.EdgeNGramTokenizer 
{ 
    MaxGram = 15, 
    MinGram = 3 
}); 
 
settings.Analysis.Analyzers.Add("product-analyzer", an); 

我們的分析器使用標準的標記化方法，創(chuàng)建3至15個字符的小寫標記。我們可以將分析器添加到一個或多個字段的索引中，也可以將其添加為標準分析器。

client.CreateIndex("products", c => c 
    // Analyzer added only for the property Description of Product 
    .AddMapping<Product>(e => e 
        .MapFromAttributes() 
        .Properties(p => p.String(s => s.Name(f => f.Description) 
        .Analyzer("product-analyzer"))) 
    ) 
    //Analyzer added as default 
        .Analysis(analysis => analysis 
            .Analyzers(a => a 
            .Add("default", an) 
        ) 
    ) 
) 

創(chuàng)建自定義分析器時，可以使用測試API對其進行測試。即使對于默認分析儀，也可以執(zhí)行這些測試。

var analyzeResponse = client.Indices.Analyze(a => a 
    .Tokenizer("standard") 
    .Filter("lowercase", "stop") 
    .Text("Lorem ipsum dolor sit amet, consectetur...") 
); 

我們還可以使用數(shù)據(jù)聚合來提供通過搜索查詢聚合的數(shù)據(jù)，它基于可以組成以獲得復雜聚合的簡單塊。聚合有不同類型，每種類型都有定義的范圍和輸出。它們可以分為：

• 桶裝：具有關鍵和標準的容器;
• 指標：根據(jù)一組文檔計算的指標;
• 矩陣：在不同文檔字段上進行的一系列操作，以矩陣樣式生成數(shù)據(jù);
• 管道：更多聚合的聚合。

在我們的案例中，我們使用匯總來獲取品牌，類別，價格范圍的產(chǎn)品數(shù)量。在以下示例中，我們找到了產(chǎn)品價格的匯總：

s => s 
    .Query(...) 
    .Aggregations(aggs => aggs 
        .Average("average_price", avg => avg.Field(p => p.Price)) 
        .Max("max_price", avg => avg.Field(p => p.Price)) 
        .Min("min_price", avg => avg.Field(p => p.Price)) 
    ) 

另一個有用的聚合是根據(jù)品牌，商店或類別進行分組：

s => s 
     .Query(...) 
     .Aggregations(aggs => aggs 
         .ValueCount("products_for_category", avg => avg.Field(p => p.Category.Name)) 
         .ValueCount("products_for_brand", avg => avg.Field(p => p.Brand.Name)) 
         .ValueCount("products_for_store", avg => avg.Field(p => p.Store.Name)) 
     ) 

這樣，我們可以實時獲取針對類別，品牌和商店的搜索產(chǎn)品數(shù)量。匯總數(shù)據(jù)還可以用于創(chuàng)建儀表板，甚至可以使用動態(tài)過濾器(類似于電子商務)來組織搜索，并且顯然可以用于統(tǒng)計目的。

改善您的搜索

如您所知，我們對任何搜索結果都有分數(shù)。等級是從0到1的數(shù)字，它確定搜索參數(shù)如何接近該結果。得分主要取決于三個參數(shù)：搜索詞的頻率，倒排文檔的頻率和字段長度。

要從得分中排除得分過低的人，我們可以使用MinScore：

s => s 
     .MinScore(0.5) 
     .Query(...) 

這樣，我們可以排除分數(shù)低于0.5的所有結果。建議者允許您使用與搜索文本相似的術語來搜索ElasticSearch索引。例如，完成建議器對于自動完成很有用，它會在鍵入文本時引導您獲得最佳和更相關的結果。該完成建議程序經(jīng)過優(yōu)化，可以盡快返回結果，但是它使用啟用了快速查找的結構并需要資源。

在我們的案例中，我們實現(xiàn)了基于產(chǎn)品名稱的自動完成方法，該方法將在搜索框中鍵入以下內(nèi)容時被調(diào)用：

s => s 
    .Query(...) 
    .Suggest(su => su 
        .Completion("name", cs => cs 
            .Field(f => f.Name) 
            .Fuzzy(f => f 
                .Fuzziness(Fuzziness.Auto) 
            ) 
            .Size(5) 
        ) 
    ) 

更好的搜索的另一有用方法是索引boost。當您搜索更多索引時，可以為這些索引分配一個乘數(shù)，這樣一來，一個索引的結果將比另一個顯示更多。您可以將其用于商業(yè)目的，與供應商達成協(xié)議或使我們的產(chǎn)品脫穎而出。索引提升的一個示例是：

s => s 
    .Query(...) 
    .IndicesBoost(b => b 
        .Add("products-1", 1.5) 
        .Add("products-2", 1) 
    ) 

在此示例中，我們將乘數(shù)1.5乘以1的結果，乘以1乘以2的結果，這樣乘積1的結果將被更頻繁地顯示。改進搜索的另一種方法是通過一些參數(shù)對它們進行排序。就我們而言，我們可以：

s => s 
    .Query() 
    .Sort(ss => ss 
        .Descending(SortSpecialField.Score) 
        .Descending(p => p.Price) 
        .Descending(p => p.ReleaseDate) 
        .Ascending(SortSpecialField.DocumentIndexOrder) 
    ) 

我們將評分，價格，發(fā)布日期以及最終索引順序設置為更高的優(yōu)先級。

運行項目

我們的示例項目是一個.NET Core MVC WebApi應用程序，該應用程序提供一個搜索框和一個儀表板，其中的儀表板會根據(jù)鍵入的文本自動刷新數(shù)據(jù)。首次運行項目時，我們可以加載由Bogus插件創(chuàng)建的n個Product對象。還有其他偽造類可以為品牌，類別，商店，評論和用戶構建隨機對象。它允許您擁有一個數(shù)據(jù)庫來執(zhí)行我們的搜索。

var productFaker = new Faker<Product>() 
    .CustomInstantiator(f => new Product()) 
        .RuleFor(p => p.Id, f => f.IndexFaker) 
        .RuleFor(p => p.Ean, f => f.Commerce.Ean13()) 
        .RuleFor(p => p.Name, f => f.Commerce.ProductName()) 
        .RuleFor(p => p.Description, f => f.Lorem.Sentence(f.Random.Int(5, 20))) 
        .RuleFor(p => p.Brand, f => f.PickRandom(brands)) 
        .RuleFor(p => p.Category, f => f.PickRandom(categories)) 
        .RuleFor(p => p.Store, f => f.PickRandom(stores)) 
        .RuleFor(p => p.Price, f => f.Finance.Amount(1, 1000, 2)) 
        .RuleFor(p => p.Currency, "€") 
        .RuleFor(p => p.Quantity, f => f.Random.Int(0, 1000)) 
        .RuleFor(p => p.Rating, f => f.Random.Float(0, 1)) 
        .RuleFor(p => p.ReleaseDate, f => f.Date.Past(2)) 
        .RuleFor(p => p.Image, f => f.Image.PicsumUrl()) 
        .RuleFor(p => p.Reviews, f => reviewFaker.Generate(f.Random.Int(0, 1000)) 
    ) 

在頁面中間，有一個儀表板，我們在其中使用了本文介紹的過濾器，分析器和方法。在頂部的搜索框中鍵入一些文本時，將建議相關產(chǎn)品，并且儀表板內(nèi)容將根據(jù)搜索文本進行更新。

結論

在本文中，我向您展示了如何使用Elasticsearch對復雜的實際場景進行有效的處理，分析和搜索數(shù)據(jù)。希望我對這個話題感興趣。

此處[2]提供了[3]帶有本文中使用的代碼的示例項目。

References

[1] 一篇文章中: https://www.blexin.com/en-US/Article/Blog/How-to-integrate-ElasticSearch-in-ASPNET-Core-70

[2] 此處: https://github.com/enricobencivenga/ProductElasticSearchAdvanced 

[3] 了: https://github.com/enricobencivenga/ProductElasticSearchAdvanced