Manuel Toniato e Simone Caretta: Migliorare le performance di ricerca con Elasticsearch
2 likes1,150 views
Il documento discute l'importanza della ricerca interna nell'ecommerce e l'integrazione di Elasticsearch con Magento CE per migliorare le prestazioni di ricerca. Sottolinea i vantaggi competitivi offerti da una ricerca efficace e dettaglia le caratteristiche tecniche e le infrastrutture necessarie per implementare Elasticsearch. Inoltre, esplora il potenziale dell'internal search e le soluzioni per ottimizzare l'esperienza utente nella navigazione dei prodotti.
![develon /
fullycommerce
Mapping
• quale analyzer scelgo
per i vari attributi?
• analysis = charFilter +
tokenizer + tokenFilter
{
"analysis": {
"analyzer": {
"std_stemmed_it": {
"char_filter": "html_strip",
"filter": [
"it_stop",
"lowercase",
"it_stemmer"
],
"tokenizer": "standard",
"type": "custom"
}
},
"filter": {
"it_stemmer": {
"name": "light_italian",
"type": "stemmer"
},
"it_stop": {
"name": "it_stop",
"stopwords": "_italian_",
"type": "stop"
}
}
}
}](https://image.slidesharecdn.com/meetmagento2015-migliorareleperformancediricercaconelasticsearchpubblicabile-150311094034-conversion-gate01/85/Manuel-Toniato-e-Simone-Caretta-Migliorare-le-performance-di-ricerca-con-Elasticsearch-18-320.jpg){kind=icon}
![develon /
fullycommerce
{
"query": {
"filtered": {
"query": {
"bool": {
"should": [
{
"fuzzy_like_this": {
"fields": [
"color_en",
"color_it",
"manufacturer_en",
"manufacturer_it",
"name_en",
"name_it",
"description_en",
"description_it",
"short_description_en",
"short_description_it",
"sku",
"category_terms_en",
"category_terms_it"
],
"boost": 1,
"like_text": "(scrpe puma)",
"min_similarity": 0.7,
"prefix_length": 0,
"ignore_tf": false,
"max_query_terms": 10
}
• multi term query rewrite
• template query
• elasticsearch prevede
39 tipi di query a
fronte dei 13 tipi
previsti da Lucene.
• La nostra scelta è stata
di combinare una
ricerca esatta
(query_string)
con una ricerca fuzzy
(fuzzy_like_this),
e poi filtrare per store
Le query di elasticsearch](https://image.slidesharecdn.com/meetmagento2015-migliorareleperformancediricercaconelasticsearchpubblicabile-150311094034-conversion-gate01/85/Manuel-Toniato-e-Simone-Caretta-Migliorare-le-performance-di-ricerca-con-Elasticsearch-25-320.jpg){kind=icon}
Manuel Toniato e Simone Caretta: Migliorare le performance di ricerca con Elasticsearch
- 3. develon / fullycommerce Full Service Provider
- 4. develon / fullycommerce • Criticità della ricerca su Magento CE • Il progetto elasticsearch • Integrazione tra elasticsearch e Magento CE • mapping (fields, analyzers, boost) • infrastruttura • query • Renderizzazione dei risultati • E se usassimo elasticsearch per tutti i casi di navigazione layered? Outline
- 5. develon / fullycommerce Voglio comprare un ago in questo pagliaio ovvero l’importanza della ricerca nell’ecommerce
- 6. develon / fullycommerce Perché investire sull’internal search? • il 30% dei visitatori usa la ricerca interna (eConsultancy, 2012) • chi usa la ricerca è un visitatore di valore (conversion rate più alto del 70%-80%) • gli utenti si aspettano strumenti avanzati di ricerca (pertinenza, do you mean, autocomplete, instant search)
- 7. develon / fullycommerce Perché investire sull’internal search? • grande vantaggio competitivo (Baymard Institute, 2014) • i dati raccolti con la ricerca interna sono fondamentali per il marketing
- 8. develon / fullycommerce rilevanza performance prossimità La Ricerca in Magento CE • Like • Fulltext • Combine (Like+Fulltext)
- 9. develon / fullycommerce Product or not product? Magento indicizza e ricerca solo i prodotti no categorie no pagine CMS no altri contenuti (wordpress, typo3, …)
- 10. develon / fullycommerce Il progetto elasticsearch
- 11. develon / fullycommerce elasticsearch • full-text search server basato su • utilizzato in produzione nel mercato • supportato dalla community (licenza apache 2) e dall’azienda omonima
- 12. develon / fullycommerce Caratteristiche strutturali • distribuito, affidabile e scalabile
- 13. develon / fullycommerce Caratteristiche interfaccia • restful api • schema free • query DSL curl -XPUT ‘http://elastic:9200/doc_it' -d ' { "settings": { "number_of_shards" : 5, "number_of_replicas" : 1, } }' curl -XPUT 'http://elastic:9200/doc_it/product' -d ' { "sku":"1775X59", "name":"DEAN AX®", "description":"Dean AX® è pensato per ….", "id":"19050" }' curl -XGET 'http://elastic:9200/doc_it/product/_search' -d ' { "query": { "match" : { "name" : "DEAN" } } }'
- 14. develon / fullycommerce Caratteristiche tecniche • (near) real time • real time analytics • optimistic version control • per operation persistence • interfaces: head, inquisitor, browser • molto altro …..
- 15. develon / fullycommerce elasticsearch vs Solr • multitenancy as default • nativamente cloud oriented • supporto per documenti “strutturati” • possibilità di piani di supporto business • caratteristiche tecniche in continua evoluzione • interesse in crescita, community in crescita
- 16. develon / fullycommerce Configurare elasticsearch per l’ecommerce
- 17. develon / fullycommerce Mapping • Attributi analyzed e attributi stored • Attributi base: sku, name, description, short_description • Attributi numerici: prezzo • Attributi gerarchici / ordinati: categorie • Attributi di view: lingua / store view • Altri contenuti • Immagini?
- 18. develon / fullycommerce Mapping • quale analyzer scelgo per i vari attributi? • analysis = charFilter + tokenizer + tokenFilter { "analysis": { "analyzer": { "std_stemmed_it": { "char_filter": "html_strip", "filter": [ "it_stop", "lowercase", "it_stemmer" ], "tokenizer": "standard", "type": "custom" } }, "filter": { "it_stemmer": { "name": "light_italian", "type": "stemmer" }, "it_stop": { "name": "it_stop", "stopwords": "_italian_", "type": "stop" } } } }
- 19. develon / fullycommerce Integrare elasticsearch e Magento
- 20. develon / fullycommerce Infrastruttura • Topologia presa in esame
- 21. develon / fullycommerce Infrastruttura ETL • Indicizzazione bulk utilizzando ETL/ESB
- 22. develon / fullycommerce Infrastruttura river • I data-pump di elasticsearch: i River • Indicizzazione in real-time usando RabbitMQ river <events> <catalog_product_save_after> <observers> <fullycommerce_reindex_product> <class>elasticsearch/observer</class> <method>productReindex</method> </fullycommerce_reindex_product> </observers> </catalog_product_save_after> </events>
- 23. develon / fullycommerce Librerie PHP di connessione $qb = new ElasticaQueryBuilder(); $query=$qb->query() ->multi_match() ->setFields(array('name^2', 'description', 'sku^3')) ->setQuery($q); • Rest client + JSON handling • Elastica: approccio Object Oriented con query builder
- 24. develon / fullycommerce “Hello world”: una semplice query di ricerca $this->_elasticaclient = new ElasticaClient(array( 'host' => 'localhost', 'port' => '9200' )); $search = new ElasticaSearch($this->_elasticaclient); $search->addIndex($this->_index)->addType($this->_type); $qb = new ElasticaQueryBuilder(); $query=$qb->query() ->multi_match() ->setFields(array('name^2', 'description', 'sku^3')) ->setQuery($q); $suggest = $qb->suggest() ->term('suggest_description', 'description') ->setText($q); $elastic_query=new ElasticaQuery(); $elastic_query->setQuery($query) ->setSuggest(new ElasticaSuggest($suggest)); $search->setQuery($elastic_query); $resultset=$search->search(); print_r($resultset->getResults()); if($resultset->hasSuggests()){ print_r($resultset->getSuggests()); }
- 25. develon / fullycommerce { "query": { "filtered": { "query": { "bool": { "should": [ { "fuzzy_like_this": { "fields": [ "color_en", "color_it", "manufacturer_en", "manufacturer_it", "name_en", "name_it", "description_en", "description_it", "short_description_en", "short_description_it", "sku", "category_terms_en", "category_terms_it" ], "boost": 1, "like_text": "(scrpe puma)", "min_similarity": 0.7, "prefix_length": 0, "ignore_tf": false, "max_query_terms": 10 } • multi term query rewrite • template query • elasticsearch prevede 39 tipi di query a fronte dei 13 tipi previsti da Lucene. • La nostra scelta è stata di combinare una ricerca esatta (query_string) con una ricerca fuzzy (fuzzy_like_this), e poi filtrare per store Le query di elasticsearch
- 30. develon / fullycommerce Come mostrare i risultati • Utilizzando le collection di Magento (filtro per product_id) $ids = $this->getSearchResultIds(); $this->addIdFilter($ids); • Renderizzando direttamente gli oggetti JSON restituiti da elasticsearch Vantaggi: non serve arricchimento, in automatico paginazione, ordinamento, ecc. Svantaggi: seconda query su DB (lentezza) Vantaggi: molto veloce Svantaggi: necessità di indicizzare i dati necessari per il template paginazione e ordinamento molto complicati Soluzione preferibile per l’autocomplete
- 31. develon / fullycommerce E se usassimo elasticsearch per tutti i casi di layered navigation? • È la soluzione adottata dalla maggior parte dei moduli • Performance migliori? • Fragilità della soluzione!!! <config> <global> <blocks> <nanowebg_elasticsearch> <class>NanoWebG_ElasticSearch_Block</class> </nanowebg_elasticsearch> <catalog> <rewrite> <layer_view> NanoWebG_ElasticSearch_Block_Catalog_Layer_View </layer_view> </rewrite> </catalog> <catalogsearch> <rewrite> <layer> NanoWebG_ElasticSearch_Block_Catalogsearch_Layer </layer> </rewrite> </catalogsearch> </blocks> </global> </config>
- 32. develon / fullycommerce Integrazioni esistenti • moltissimi progetti nati nell’ultimo anno
- 33. develon / fullycommerce L’ecosistema elasticsearch Oltre la ricerca: ELK-stack • logstash: per centralizzare, elaborare e instradare i log • kibana: sistema di visualizzazione dati in real-time
- 34. develon / fullycommerce Dubbi, domande, perplessità…
- 35. develon / fullycommerce References (1) Sulla ricerca interna nell’ecommerce • Why Ecommerce Stores Can't Afford to Ignore Site Search, di Barett Johnson, 4/11/2014, visitato il 27/2/2014 http://blog.swiftype.com/why-ecommerce-stores-cant-afford-to-ignore-site- search • The Current State Of E-Commerce Search, di Christian Holst, 18/08/2014, visitato il 27/2/2014 http://www.smashingmagazine.com/2014/08/18/the-current-state-of-e- commerce-search/ Elasticsearch • Il nuovo sito (lanciato il 10/3/2015) : https://www.elastic.co/ • Elastica: http://elastica.io/
- 36. develon / fullycommerce References (2) Elasticsearch e Magento • BubbleShop Extension for Elasticsearch, https://www.bubbleshop.net/magento-elasticsearch.html • Qbox Elasticsearch Extension, http://www.magentocommerce.com/magento-connect/qbox- elasticsearch-extension.html • Johann Reinke Extension (versione preliminare di BubbleShop) https://github.com/jreinke/magento-elasticsearch • Carlo Tasca Extension (non utilizza Elastica) https://github.com/ctasca/magento-elasticsearch-module
- 37. develon / fullycommerce Manuel Toniato [email protected] https://www.linkedin.com/pub/manuel-toniato/45/7a/61b https://twitter.com/manuel_toniato Simone Caretta [email protected] https://www.linkedin.com/pub/simone-caretta/4/90b/383 https://plus.google.com/+SimoneCaretta/posts
- 38. © 2013, Develon srl - Tutti i diritti riservati. Questo documento è protetto da copyright. Nessuna parte di esso può essere modificato, riprodotto o distribuito in qualunque forma o con qualunque mezzo, senza previa autorizzazione scritta di Develon srl. develon / fullycommerce www.develon.com - www.fullycommerce.com