Trend Analysis sui Social Network - I risultati del progetto SenTaClAus
0 likes1,958 views
Il documento descrive l'evoluzione del 'social proxy', creato per integrare i sistemi di Coop Italia con i social network, progettato nel 2010 e rilasciato nel 2011. Si enfatizzano le funzionalità editoriali e di ascolto, con parametri per recuperare contenuti da diverse fonti e analisi dei trend in tempo reale. Viene inoltre discussa l'architettura software e le sperimentazioni nella sentiment analysis, evidenziando i punti di forza e le aree di miglioramento.
Trend Analysis sui Social Network - I risultati del progetto SenTaClAus
- 1. ! Trend Analysis @ SenTaClAus! Pisa – Dipartimento di Informatica! 23/03/2015! ! Luca De Santis – [email protected] - @lucadex!
- 2. ! In principio… era il Social Proxy!! • Nasce da l’esigenza di COOP Italia di integrare i propri sistemi con i Social Network! – Non a caso proxy…! – 2010 inizio progettazione! – 2011 primo rilascio! • Enfasi su funzionalità “editoriali”! • Business Logic implementata via ESB!
- 3. ! In principio… era il Social Proxy!! • Nasce da l’esigenza di COOP Italia di integrare i propri sistemi con i Social Network! – Non a caso proxy…! – 2010 inizio progettazione! – 2011 primo rilascio! • Enfasi su funzionalità “editoriali”! • Business Logic implementata via ESB!
- 4. ! In principio… era il Social Proxy!! • Nasce da l’esigenza di COOP Italia di integrare i propri sistemi con i Social Network! – Non a caso proxy…! – 2010 inizio progettazione! – 2011 primo rilascio! • Enfasi su funzionalità “editoriali”! • Business Logic implementata via ESB!
- 5. ! In principio… era il Social Proxy!! • Nasce da l’esigenza di COOP Italia di integrare i propri sistemi con i Social Network! – Non a caso proxy…! – 2010 inizio progettazione! – 2011 primo rilascio! • Enfasi su funzionalità “editoriali”! • Business Logic implementata via ESB!
- 6. ! • Regole parametriche per recuperare contenuti da molteplici fonti! – Facebook (pagine, accounts, gruppi, ricerca, timeline dell’utente)! – Twitter (ricerca, ricerca geografica, accounts, timeline dell’utente)! – Instagram (ricerca, ricerca geografica, accounts, timeline dell’utente)! – LinkedIn (gruppi, companies, persone, aggiornamenti del network)! – YouTube (ricerche, canali) ! – Foursquare (tips delle venues)! – Pinterest (utenti, boards)! – Feed RSS/Atom (siti web, blog)! • I contenuti recuperati possono essere indicizzati su un motore di ricerca locale (Apache Solr) per ulteriori filtraggi.! Versione 2.0 – Funzionalità di ascolto!
- 7. ! • Regole parametriche per recuperare contenuti da molteplici fonti! – Facebook (pagine, accounts, gruppi, ricerca, timeline dell’utente)! – Twitter (ricerca, ricerca geografica, accounts, timeline dell’utente)! – Instagram (ricerca, ricerca geografica, accounts, timeline dell’utente)! – LinkedIn (gruppi, companies, persone, aggiornamenti del network)! – YouTube (ricerche, canali) ! – Foursquare (tips delle venues)! – Pinterest (utenti, boards)! – Feed RSS/Atom (siti web, blog)! • I contenuti recuperati possono essere indicizzati su un motore di ricerca locale (Apache Solr) per ulteriori filtraggi.! Versione 2.0 – Funzionalità di ascolto!
- 8. ! • Regole parametriche per recuperare contenuti da molteplici fonti! – Facebook (pagine, accounts, gruppi, ricerca, timeline dell’utente)! – Twitter (ricerca, ricerca geografica, accounts, timeline dell’utente)! – Instagram (ricerca, ricerca geografica, accounts, timeline dell’utente)! – LinkedIn (gruppi, companies, persone, aggiornamenti del network)! – YouTube (ricerche, canali) ! – Foursquare (tips delle venues)! – Pinterest (utenti, boards)! – Feed RSS/Atom (siti web, blog)! • I contenuti recuperati possono essere indicizzati su un motore di ricerca locale (Apache Solr) per ulteriori filtraggi.! Versione 2.0 – Funzionalità di ascolto!
- 9. ! • Regole parametriche per recuperare contenuti da molteplici fonti! – Facebook (pagine, accounts, gruppi, ricerca, timeline dell’utente)! – Twitter (ricerca, ricerca geografica, accounts, timeline dell’utente)! – Instagram (ricerca, ricerca geografica, accounts, timeline dell’utente)! – LinkedIn (gruppi, companies, persone, aggiornamenti del network)! – YouTube (ricerche, canali) ! – Foursquare (tips delle venues)! – Pinterest (utenti, boards)! – Feed RSS/Atom (siti web, blog)! • I contenuti recuperati possono essere indicizzati su un motore di ricerca locale (Apache Solr) per ulteriori filtraggi.! Versione 2.0 – Funzionalità di ascolto!
- 10. ! • Regole parametriche per recuperare contenuti da molteplici fonti! – Facebook (pagine, accounts, gruppi, ricerca, timeline dell’utente)! – Twitter (ricerca, ricerca geografica, accounts, timeline dell’utente)! – Instagram (ricerca, ricerca geografica, accounts, timeline dell’utente)! – LinkedIn (gruppi, companies, persone, aggiornamenti del network)! – YouTube (ricerche, canali) ! – Foursquare (tips delle venues)! – Pinterest (utenti, boards)! – Feed RSS/Atom (siti web, blog)! • I contenuti recuperati possono essere indicizzati su un motore di ricerca locale (Apache Solr) per ulteriori filtraggi.! Versione 2.0 – Funzionalità di ascolto!
- 11. ! • Usare strumenti di Named Entity Extraction per identificare i concetti nel testo! – Uso di TagMe!! • Nasce il servizio di Trend Analysis! • Analisi in tempo pressoché reale: identifico i concetti man mano che recupero i post! Come fare una sintesi di tutto ciò?!
- 12. ! • Usare strumenti di Named Entity Extraction per identificare i concetti nel testo! – Uso di TagMe!! • Nasce il servizio di Trend Analysis! • Analisi in tempo pressoché reale: identifico i concetti man mano che recupero i post! Come fare una sintesi di tutto ciò?!
- 13. ! • Usare strumenti di Named Entity Extraction per identificare i concetti nel testo! – Uso di TagMe!! • Nasce il servizio di Trend Analysis! • Analisi in tempo pressoché reale: identifico i concetti man mano che recupero i post! Come fare una sintesi di tutto ciò?!
- 14. ! • Usare strumenti di Named Entity Extraction per identificare i concetti nel testo! – Uso di TagMe!! • Nasce il servizio di Trend Analysis! • Analisi in tempo pressoché reale: identifico i concetti man mano che recupero i post! Come fare una sintesi di tutto ciò?! Conce&o X Conce&o Z
- 15. ! Il lavoro in SenTaClAus! • Estensioni della Trend Analysis! – Miglioramenti nell’efficacia, grazie alle corrispondenti evoluzioni nella Text Analysis! – Nuove analisi (e corrispondenti interfacce grafiche)! • Link Analysis! • Analisi geografiche! • Analisi degli Influencers! • Sperimentazioni sulla Sentiment Analysis! – Si sfrutta la logica di elaborazione “a catena di montaggio” dell’ESB! ! Enterprise Service Bus Immagini © http://ecquire.com/blog/social-media-sales-funnel/ - http://rvtechsolutions.com/socialmediabreakfast/willmar-lakes-area/
- 16. Esempi di Trend Analysis: menzioni @Unipisa!
- 17. Esempi di Trend Analysis: menzioni @Unipisa!
- 18. Esempi di Trend Analysis: menzioni @Unipisa!
- 19. Esempi di Trend Analysis: menzioni @Unipisa!
- 24. Link Analysis!
- 25. Link Analysis!
- 26. Mappe!
- 27. Mappe!
- 28. ! • Tecnica ispirata dall’articolo Identification of influential spreaders in complex networks (Kitsal et al, 2010)! – Il grado con cui una persona riesce a diffondere qualcosa (anche un virus!) non dipende tanto dal numero dei suoi collegamenti ma da dove è posizionata nel grafo. ! – Se si trova al centro diffonde molto di più di una in periferia, anche se quest'ultima ha molti più contatti.! – Inoltre le persone nel centro diffondono con la stessa efficacia, indipendentemente dai collegamenti che hanno.! Analisi degli influencers!
- 29. ! • Tecnica ispirata dall’articolo Identification of influential spreaders in complex networks (Kitsal et al, 2010)! – Il grado con cui una persona riesce a diffondere qualcosa (anche un virus!) non dipende tanto dal numero dei suoi collegamenti ma da dove è posizionata nel grafo. ! – Se si trova al centro diffonde molto di più di una in periferia, anche se quest'ultima ha molti più contatti.! – Inoltre le persone nel centro diffondono con la stessa efficacia, indipendentemente dai collegamenti che hanno.! Analisi degli influencers!
- 30. ! • Tecnica ispirata dall’articolo Identification of influential spreaders in complex networks (Kitsal et al, 2010)! – Il grado con cui una persona riesce a diffondere qualcosa (anche un virus!) non dipende tanto dal numero dei suoi collegamenti ma da dove è posizionata nel grafo. ! – Se si trova al centro diffonde molto di più di una in periferia, anche se quest'ultima ha molti più contatti.! – Inoltre le persone nel centro diffondono con la stessa efficacia, indipendentemente dai collegamenti che hanno.! Analisi degli influencers!
- 31. ! Sentiment Analysis! • Sperimentazione fatta utilizzando sia i risultati di SenTaClAus che servizi commerciali! – Integrazione servizi AlchemyAPI! – Integrazione Sentistrength! • Risultati… luci e ombre! – Necessita di tanti dati: sconsigliata per “conversazioni” con pochi post! – Adatta solo a contesti di conversazione “generalistici”! – Necessità di configurare bene le fonti; decidere bene come e quando applicarla!
- 32. ! Sentiment Analysis! • Sperimentazione fatta utilizzando sia i risultati di SenTaClAus che servizi commerciali! – Integrazione servizi AlchemyAPI! – Integrazione Sentistrength! • Risultati… luci e ombre! – Necessita di tanti dati: sconsigliata per “conversazioni” con pochi post! – Adatta solo a contesti di conversazione “generalistici”! – Necessità di configurare bene le fonti; decidere bene come e quando applicarla!
- 33. ! Sentiment Analysis! • Sperimentazione fatta utilizzando sia i risultati di SenTaClAus che servizi commerciali! – Integrazione servizi AlchemyAPI! – Integrazione Sentistrength! • Risultati… luci e ombre! – Necessita di tanti dati: sconsigliata per “conversazioni” con pochi post! – Adatta solo a contesti di conversazione “generalistici”! – Necessità di configurare bene le fonti; decidere bene come e quando applicarla!
- 34. ! Sentiment Analysis! • Sperimentazione fatta utilizzando sia i risultati di SenTaClAus che servizi commerciali! – Integrazione servizi AlchemyAPI! – Integrazione Sentistrength! • Risultati… luci e ombre! – Necessita di tanti dati: sconsigliata per “conversazioni” con pochi post! – Adatta solo a contesti di conversazione “generalistici”! – Necessità di configurare bene le fonti; decidere bene come e quando applicarla!
- 35. ! Sentiment Analysis! • Sperimentazione fatta utilizzando sia i risultati di SenTaClAus che servizi commerciali! – Integrazione servizi AlchemyAPI! – Integrazione Sentistrength! • Risultati… luci e ombre! – Necessita di tanti dati: sconsigliata per “conversazioni” con pochi post! – Adatta solo a contesti di conversazione “generalistici”! – Necessità di configurare bene le fonti; decidere bene come e quando applicarla!
- 36. ! Architettura Software! • Architettura Multilayer! – Data Layer: ! • MariaDB! • Solr! – Presentation! • PHP/ Symfony! – Business! • ESB ! • Java! • Enterprise Integration Pattern!
- 37. Logica di elaborazione “a catena di montaggio”!
- 38. Logica di elaborazione “a catena di montaggio”!
- 39. Logica di elaborazione “a catena di montaggio”!
- 40. ! Validazione! • 3 tipologie di focus group ! • Funzionale! – Questionario sui servizi del sistema! – Target: utenti, clienti! • Architetturale! – Evoluzioni, in particolare in ottica di elaborazione di Big Data! – Partner tecnici per possibili progetti! • Marketing! – Modalità di proposizione del servizio, analisi della concorrenza! – Consulenti aziendali!
- 41. ! Lessons Learned! • Punti di forza!! • Posizionamento non ottimale! – Report finale più apprezzato di piattaforma di analisi! • Architettura facilmente estendibile per processare grandi quantità di dati! – Da ESB ad Apache Storm! – Da DB relazionali a DB NOSQL! – Da Solr ad ElasticSearch! • Sentiment is… King!!