Viaggio alla scoperta dei Big Data
0 likes303 views
Il documento esamina i big data, sottolineando l'importanza di partire da esigenze aziendali piuttosto che semplicemente dai dati disponibili. Tra le caratteristiche dei big data ci sono la grande mole di dati, la varietà delle fonti e la necessità di una governance adeguata. Viene evidenziato come i big data possano migliorare i processi decisionali, ridurre costi e tempi, oltre a supportare lo sviluppo di nuovi prodotti e servizi.
![Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it
Tel. / Fax: +39 045 6152381 | E-mail: info@keanet.it
Viaggio alla scoperta dei Big Data
Report sul libro di Thomas H. Davenport, Big Data al lavoro. Sfatare i miti, scoprire
le opportunità, Franco Angeli, Milano, 2015
Qual è il punto di partenza di progetti basati su big data?
• Da esigenze (interne all’organizzazione o dei clienti) che potrebbero essere soddisfatte ricorrendo
ai big data
• Dalla disponibilità di dati che potrebbero generare valore, ispirando o trasformando le strategie
aziendali.
Davenport sottolinea che “bisogna partire da un interrogativo, non dai dati”.
Quali sono le caratteristiche dei big data?
Le caratteristiche principali dei big data sono:
• Mole
• Sono dati di vario tipo (testi, audio, video, social media, dati raccolti da sensori dell’Internet of
Things [IoT, internet delle cose] e da sensori associati a esseri viventi – animali ed esseri umani, in
particolare in ambito sanitario e sportivo). Davenport afferma che “stiamo superando
l’automazione delle transazioni e ci stiamo avvicinando all’analisi dei dati che esse generano”. A
questi dati si aggiungono quelli user generated e quelli raccolti dai sensori
• Sono di varia provenienza. Si tratta spesso di dati esterni all’azienda che ne fa uso, il che rende
necessario integrare fonti dati interne ed esterne, e pone il problema della governance dei big data:
qualità, aggiornamento e affidabilità, attribuzione di metadati, riconciliazione, sicurezza,
riservatezza, accessibilità da parte dei titolari
• Scarsa strutturazione
• Flusso dinamico, rapido e continuo (dati di tipo streaming).
Nel lavoro con i big data tutto è nuovo?
Davenport sottolinea che, accanto alle numerose innovazioni, nel lavoro con i big data permangono anche
elementi tradizionali:
• Elementi di innovazione:
o Necessità di un cambio di prospettiva da parte del management:
Necessità di guardare fuori, verso fonti dati esterne, abbandonando la prospettiva
azienda-centrica
Orientamento alle decisioni razionali, basate su dati oggettivi, anziché su
valutazioni soggettive. Esigenza del passaggio a una cultura del Test & Learn, cioè
all’applicazione alla conduzione dell’azienda del metodo scientifico
1
Viaggio alla scoperta dei Big Data](https://image.slidesharecdn.com/big-data-150409012831-conversion-gate01/85/Viaggio-alla-scoperta-dei-Big-Data-1-320.jpg)
![Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it
Tel. / Fax: +39 045 6152381 | E-mail: info@keanet.it
Orientamento al decision-making inteso come processo continuo e supportato
dall’automazione. “Quando [i big data] vengono applicati al processo decisionale, la
loro massa e la loro velocità sono tali da non rendere più appropriati i metodi
tradizionali del decision-making, ancorati al criterio della massima certezza
possibile … Molte organizzazioni devono quindi adottare una metodologia di analisi
e di decision-making improntata all’aggiornamento continuo, tanto dei dati quanto
delle indicazioni che se ne possono trarre … Devono concepire il data management,
l’analisi e il decision-making come flussi e processi continui, non come stock discreti
di dati o di eventi distinti”. Davenport afferma che l’evoluzione va inoltre verso
l’automazione del processo decisionale: “I risultati delle analisi dei dati saranno
sempre più indirizzati ai computer, non agli esseri umani. E i computer
genereranno istruzioni per le persone, ma anche per altri dispositivi, che a loro
volta produrranno altri dati sul loro funzionamento e sulla loro performance”
Inclusione dell’analytics nei principali processi di business
o Necessità del monitoraggio continuativo dei dati, tendente al tempo reale. Impostazione di
valori di soglia per determinare il momento in cui si rendono necessarie azioni e decisioni,
automatiche o da parte di persone
o Necessità di integrare più fonti dati, esterne e interne
o Maggiore rilevanza dell’esplorazione e della sperimentazione basate sui dati. Gioca un
ruolo fondamentale l’elaborazione di congetture data-driven: formulazione di ipotesi,
raccolta di prove, eventuale confutazione, decision-making e iterazione continua del ciclo.
“L’assunto fondamentale è che il mondo – e i dati che lo descrivono – è perennemente
mutevole e a prevalere saranno le organizzazioni in grado … di reagire con rapidità e
discernimento”: le competenze più apprezzate sono l’esplorazione e l’agilità. I data
scientist devono essere in grado di estrarre pattern integrando fonti dati vecchie e nuove
con una frequenza e su una scala senza precedenti
o Riduzione di tempi e costi di conversione dei dati da non strutturati o semi-strutturati in
strutturati e di successiva analisi dei dati
o Tecnologie:
Hadoop (sviluppato da Yahoo!) e MapReduce (sviluppato da Google) come
ambiente di storage e processing
Python, Pig (sviluppato da Yahoo!) e Hive (sviluppato da Facebook) come linguaggi
di scripting per elaborare i big data
Nuove forme di database e di architetture di in-memory analytics (residente nella
memoria del computer, senza richiedere trasferimenti da e per lo storage su disco)
• Molte tecnologie di base sono open source. Il costo è spostato
dall’applicazione alle persone in grado di sfruttare queste tecnologie
Machine Learning. Metodologia, assimilabile alle modellazione automatizzata, che
applica ai dati un gran numero di modelli al fine di selezionare quello che si adatta
meglio. Il vantaggio è l’automazione e la rapidità nel generare modelli che
spieghino le relazioni esistenti fra dati fortemente dinamici e siano in grado di
prevederne l’evoluzione futura
Natural Language Processing
Visual analytics
2
Viaggio alla scoperta dei Big Data](https://image.slidesharecdn.com/big-data-150409012831-conversion-gate01/85/Viaggio-alla-scoperta-dei-Big-Data-2-320.jpg)
Viaggio alla scoperta dei Big Data
- 1. Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it Tel. / Fax: +39 045 6152381 | E-mail: [email protected] Viaggio alla scoperta dei Big Data Report sul libro di Thomas H. Davenport, Big Data al lavoro. Sfatare i miti, scoprire le opportunità, Franco Angeli, Milano, 2015 Qual è il punto di partenza di progetti basati su big data? • Da esigenze (interne all’organizzazione o dei clienti) che potrebbero essere soddisfatte ricorrendo ai big data • Dalla disponibilità di dati che potrebbero generare valore, ispirando o trasformando le strategie aziendali. Davenport sottolinea che “bisogna partire da un interrogativo, non dai dati”. Quali sono le caratteristiche dei big data? Le caratteristiche principali dei big data sono: • Mole • Sono dati di vario tipo (testi, audio, video, social media, dati raccolti da sensori dell’Internet of Things [IoT, internet delle cose] e da sensori associati a esseri viventi – animali ed esseri umani, in particolare in ambito sanitario e sportivo). Davenport afferma che “stiamo superando l’automazione delle transazioni e ci stiamo avvicinando all’analisi dei dati che esse generano”. A questi dati si aggiungono quelli user generated e quelli raccolti dai sensori • Sono di varia provenienza. Si tratta spesso di dati esterni all’azienda che ne fa uso, il che rende necessario integrare fonti dati interne ed esterne, e pone il problema della governance dei big data: qualità, aggiornamento e affidabilità, attribuzione di metadati, riconciliazione, sicurezza, riservatezza, accessibilità da parte dei titolari • Scarsa strutturazione • Flusso dinamico, rapido e continuo (dati di tipo streaming). Nel lavoro con i big data tutto è nuovo? Davenport sottolinea che, accanto alle numerose innovazioni, nel lavoro con i big data permangono anche elementi tradizionali: • Elementi di innovazione: o Necessità di un cambio di prospettiva da parte del management: Necessità di guardare fuori, verso fonti dati esterne, abbandonando la prospettiva azienda-centrica Orientamento alle decisioni razionali, basate su dati oggettivi, anziché su valutazioni soggettive. Esigenza del passaggio a una cultura del Test & Learn, cioè all’applicazione alla conduzione dell’azienda del metodo scientifico 1 Viaggio alla scoperta dei Big Data
- 2. Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it Tel. / Fax: +39 045 6152381 | E-mail: [email protected] Orientamento al decision-making inteso come processo continuo e supportato dall’automazione. “Quando [i big data] vengono applicati al processo decisionale, la loro massa e la loro velocità sono tali da non rendere più appropriati i metodi tradizionali del decision-making, ancorati al criterio della massima certezza possibile … Molte organizzazioni devono quindi adottare una metodologia di analisi e di decision-making improntata all’aggiornamento continuo, tanto dei dati quanto delle indicazioni che se ne possono trarre … Devono concepire il data management, l’analisi e il decision-making come flussi e processi continui, non come stock discreti di dati o di eventi distinti”. Davenport afferma che l’evoluzione va inoltre verso l’automazione del processo decisionale: “I risultati delle analisi dei dati saranno sempre più indirizzati ai computer, non agli esseri umani. E i computer genereranno istruzioni per le persone, ma anche per altri dispositivi, che a loro volta produrranno altri dati sul loro funzionamento e sulla loro performance” Inclusione dell’analytics nei principali processi di business o Necessità del monitoraggio continuativo dei dati, tendente al tempo reale. Impostazione di valori di soglia per determinare il momento in cui si rendono necessarie azioni e decisioni, automatiche o da parte di persone o Necessità di integrare più fonti dati, esterne e interne o Maggiore rilevanza dell’esplorazione e della sperimentazione basate sui dati. Gioca un ruolo fondamentale l’elaborazione di congetture data-driven: formulazione di ipotesi, raccolta di prove, eventuale confutazione, decision-making e iterazione continua del ciclo. “L’assunto fondamentale è che il mondo – e i dati che lo descrivono – è perennemente mutevole e a prevalere saranno le organizzazioni in grado … di reagire con rapidità e discernimento”: le competenze più apprezzate sono l’esplorazione e l’agilità. I data scientist devono essere in grado di estrarre pattern integrando fonti dati vecchie e nuove con una frequenza e su una scala senza precedenti o Riduzione di tempi e costi di conversione dei dati da non strutturati o semi-strutturati in strutturati e di successiva analisi dei dati o Tecnologie: Hadoop (sviluppato da Yahoo!) e MapReduce (sviluppato da Google) come ambiente di storage e processing Python, Pig (sviluppato da Yahoo!) e Hive (sviluppato da Facebook) come linguaggi di scripting per elaborare i big data Nuove forme di database e di architetture di in-memory analytics (residente nella memoria del computer, senza richiedere trasferimenti da e per lo storage su disco) • Molte tecnologie di base sono open source. Il costo è spostato dall’applicazione alle persone in grado di sfruttare queste tecnologie Machine Learning. Metodologia, assimilabile alle modellazione automatizzata, che applica ai dati un gran numero di modelli al fine di selezionare quello che si adatta meglio. Il vantaggio è l’automazione e la rapidità nel generare modelli che spieghino le relazioni esistenti fra dati fortemente dinamici e siano in grado di prevederne l’evoluzione futura Natural Language Processing Visual analytics 2 Viaggio alla scoperta dei Big Data
- 3. Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it Tel. / Fax: +39 045 6152381 | E-mail: [email protected] Rappresentazioni narrative automatizzate in forma di testo, basate su applicazioni di linguistica computazionale. Narrative Sciences e Automated Insights propongono applicazioni che, sulla base di dati grezzi, riescono a redigere resoconti giornalistici di gare sportive, testi finanziari, di marketing, previsioni meteo, ecc. • Elementi di tradizione: o Metodi di conversione dei dati da non strutturati o semi-strutturati in strutturati o Metodi di analisi dei dati, una volta che sono stati convertiti da non strutturati o semi- strutturati in strutturati. Quali sono le opportunità aperte dai big data? • Riduzione di costi o Tecnologie legate ai big data permettono di ridurre i costi di archiviazione ed elaborazione • Riduzione di tempi o Tecnologie legate big data permettono di aumentare la velocità di elaborazione o Macy’s: la catena di negozi ha ridotto da 27 a poco più di 1 ora il tempo di ottimizzazione del pricing dei suoi 73 milioni di articoli o Sears Holdings: il retailer ha ridotto da 8 a 1 settimana il varo di campagne marketing complesse e più mirate • Supporto alle decisioni o Tecnologie legate ai big data permettono di seguire il cliente nelle sue relazioni multicanale con l’azienda (es. Wells Fargo, Bank of America, Discover nel settore finanziario), includendo nell’analisi anche i clic sui siti web, i dati derivati dalle transazioni, le registrazioni vocali dei call center, le annotazioni degli addetti di agenzia o United Healthcare: in ambito sanitario l’azienda utilizza registrazioni vocali delle telefonate al call center e sistemi di Natural Language Processing per monitorare il livello di soddisfazione dei clienti e individuare quelli insoddisfatti o Procter&Gamble: l’azienda ha aperto uno store online per capire meglio e in modo disintermediato comportamenti e preferenze dei consumatori o PepsiCo: l’azienda utilizza la video analytics, in collaborazione con i punti vendita della grande distribuzione, per studiare il comportamento del consumatore dinanzi allo scaffale • Miglioramento di prodotti e servizi esistenti o UPS, FedEx, Schneider International: in ambito logistico tecnologie legate a sensori e big data sono usate per monitorare ubicazione e condizioni della merce, per ottimizzare i percorsi e risparmiare carburante, nonché per monitorare lo stile di guida degli autisti e incrementare potenzialmente la sicurezza o General Electric: l’azienda applica sensori agli “oggetti che ruotano” (es. alle turbine a gas, ai motori di aerei) per il monitoraggio continuo con l’obiettivo di migliorare le prestazioni di applicazioni industriali o Amadeus: nel settore dei viaggi le tecnologie legate ai big data permettono di ridurre il tempo di risposta del sistema di prenotazione o Caesars Entertainment: nel settore delle case da gioco le tecnologie legate ai big data permettono di fornire in tempo reale una risposta alle esigenze del marketing (“Caesars ha riscontrato che i clienti iscritti da poco … tendono a non tornare più, se hanno avuto poca 3 Viaggio alla scoperta dei Big Data
- 4. Kea s.r.l. | Via Strà, 102 | 37042 Caldiero (VR) | www.keanet.it Tel. / Fax: +39 045 6152381 | E-mail: [email protected] fortuna … Se l’azienda riesce invece a consolarli, per esempio con un buono pasto gratuito, quando ancora stanno giocando, la probabilità che ritornino al casinò aumenta sensibilmente) e all’assistenza dei clienti (es. utilizzare la video analytics per supportare il personale di sala nell’individuare clienti fedeli da non far attendere in fila) o Nei comparti produttivi, tecnologie legate ai big data possono ottimizzare il collegamento fra produzione e logistica con l’obiettivo di regolare sia l’afflusso delle materie prime e dei materiali, sia i ritmi di produzione • Sviluppo di nuovi prodotti e servizi data driven o LinkedIn: sono basate sui big data la funzione “Persone che potresti conoscere” e la “ricerca unificata”, che prevede i contenuti ai quali l’utente ha maggiore possibilità di interessarsi, ottimizzando i risultati o General Electric: l’azienda applica sensori agli “oggetti che ruotano” (es. alle turbine a gas) per fornire un nuovo tipo di assistenza tecnica (predittiva e/o in base alle esigenze effettive del singolo oggetto monitorato) o Netflix: nel settore dell’intrattenimento i big data supportano la produzione di contenuti di successo, come la serie House of Cards o Verizon Wireless: il gestore di reti cellulari vende informazioni sulla frequenza con cui gli utilizzatori dei telefoni cellulari si trovano in determinati luoghi e sulle attività che svolgono. Centri commerciali, stadi, imprese di affissioni pubblicitarie sono fra i clienti o Recorded Future: l’azienda propone strumenti basati su big data che permettono per esempio ai servizi di intelligence governativi di analizzare tendenze e fare previsioni su tensioni politiche, terrorismo, sviluppo tecnologico, ecc. Le stesse applicazioni sono usate da società di sicurezza, fondi di investimento speculativi, aziende (per il monitoraggio di clienti e concorrenti). Autore: Petra Dal Santo ([email protected]) www.keanet.it http://blog.keanet.it/ 4 Viaggio alla scoperta dei Big Data