Running Big Data

Dec 9, 2015Download as PPTX, PDF4 likes836 views

Presentazione "Running Big Data" di Francesco De Chirico. 26/11/2015 Osservatorio Big Data Analytics & Business Intelligence - Ricerca 2015: "Big Data: da Data Insight a Data Driven Strategy". Datarace, il sistema di analisi delle performance sportive nato in collaborazione con TDS -Timing Data Service, come esempio di progetto di Big Data Solution. Come dei semplici dati, dopo una elaborazione mirata, possono facilmente trasformarsi in ritorno economico.

Francesco De Chirico
• 13 anni nell’area formazione di Telecom Italia
• 7 anni come libero professionista
• Dal 2007 Mentor in SolidQ
• Modellazione e sviluppo di soluzioni di BI con piattaforma Microsoft dal 2001
• Profonda conoscenza di SSAS e linguaggi MDX e DAX
• Microsoft MCT dal 2008
• SSAS Maestro dal 2012
• Mail: fdechirico@solidq.com

Timing Data Service
• Timing company leader a livello nazionale per numero di atleti cronometrati
• oltre 350.000 atleti
• più di un 1.000.000 di tempi di gara
• Non solo atletica:
• ciclismo, MTB, sci di fondo ed altre per un totale di oltre 30 discipline coperte
• Offre servizi organizzativi, come
• grafica TV
• gestione delle iscrizioni
• la produzione di materiali (pettorali, volantini, buste, ecc.)

SolidQ
• Società Globale di consulenza sulla Piattaforma Dati Microsoft
• Nata nel 2002 in Spagna & North America
• Divisione Italiana aperta nel 2007
• Oltre 200 professionisti in tutto il mondo
• Maggior concentrazione di Microsoft Valuable Professional su SQL Server
• Offre servizi di Consulenza, Advisory, Mentoring e Formazione su
• Data Warehousing, Business Intelligence, Big Data & Analytics
• Performance Tuning, Performance Monitoring, Alta Disponibilità e Disaster Recovery
• Offre soluzioni di Remote DBA, Security Assessment, Check-Up, Cloud BI

Obiettivi e metodologia
• Definire architettura e "Big Data Journey" di riferimento
• Applicazione pratica in progetti già in produzione
• Fare "percepire" i big data agli utenti
• Big Dirty Data: nel backoffice
• Small Nice Useful Data: per l’utente finale
• Dimostrare il "valore" dei dati anche in aziende in cui essi non rappresentano il
core business
• Problema: nel 2014 Azure era molto diverso da ora
• Sfida: progettare un’architettura modulare migliorabile nel tempo
• Soluzione: SolidQ Adaptive BI Framework (www.adaptivebi.it)

Architettura Fisica
• Data Sources
• RDBMS
• JSON RESTful service
• Wikipedia
• Fast Ingest
• Ad-Hoc .NET Service su Virtual Machine
• vNext: Azure Event Hub + Azure Data Factory
• Stock
• Azure Blob Store per JSON
• SQL Server / SQL Azure per dati strutturati
Collect / Stock
Fast Ingest
Data Sources

Architettura Fisica
• Batch Process su Raw Stock
• HDInsight + Python Scripts + Hive Queries
• Batch load con SSIS + HDInsight ODBC
• Data Processing (VM + SQL Azure)
• SQL Server In-Memory Engine / ColumnStore
• T-SQL + SSIS
• Ad-Hoc .NET Scripts (dentro SSIS)
• vNext: Azure Stream Analytics
• Identity Mapping (VM)
• Multi-level Fuzzy Matching algorithm in SSIS
• vNext: HDInsight + Tez/Spark
Batch Process
Data Process
Data Process

Architettura Fisica
• Distilled Data
• SQL Azure
• Analytics (Clustering, Forecasting)
• Azure ML
• Cache Engine
• Azure Redis
Distilled Data
Analytics
Analytics

Architettura Fisica
• Web Application (Azure Web Apps)
• REST Service per il Query Manager
• HTML5 + Async JQuery Front End
• Data Exploration
• Excel per i Data Scientist
• PowerBI per gli utilizzatori finali “evoluti”
• Dove il sito web non basta
Analytics
Exploration

Funzionalità
• Oggi
• Dati ufficiali (pubblici) relativi a corse e corse in montagna
• Analisi statistiche sui dati ufficiali
• Da domani (27-11-2015)
• Login per accesso ai propri dati (privati) previa registrazione sito TDS
• Analisi statistiche sui propri dati
• Next upgrades
• Dati personali di allenamento
• Wearables Devices Data (IoT)
• Predictive Analytics
• …

IPR Marketing, attraverso il sondaggio sulle elezioni comunali che interessano le principali città italiane, ha rilevato alcuni dati sulle preferenze degli elettori. L'istituto di ricerca ha presentato il sondaggio al Tg3, rivelando che la maggior parte dei cittadini chiamati al voto ha espresso preferenze per i candidati del centro sinistra, con la sola eccezione di Napoli, dove i giochi sono ancora aperti.

8 synopsisurshari

This document provides a checklist for submitting a PhD synopsis to Anna University in Chennai, India. It includes 18 items that must be verified as complete, such as submitting one copy of the synopsis according to university regulations, original minutes of the doctoral committee signed by members, proposed panels of Indian and foreign examiners, publication lists of examiners, proof of fee payments, and certificates confirming the synopsis is submitted after the minimum duration. It also includes proformas for registration details, progress reports, publications, and certificates to be signed by supervisors.

AppSource Job OpeningsAppSource Recruitment

The document lists several job descriptions, each containing 3-4 bullet points outlining the key requirements and responsibilities for that role. The roles include J2EE Administrator, JBoss Administrator, IT Portfolio Analyst, Business Analyst, ETL/Cognos Developer, and several other IT-related positions requiring experience in areas like project management, Java/web development, systems administration, and technical support.

Ficha de revisões para o teste de português ...vermoil

Desertification - The Horn Of Africa Experiencing Serious DroughtChristina Parmionova

Desertification is the degradation of land in arid and dry sub-humid areas, resulting primarily from man-made activities and influenced by climatic variations. It is principally caused by overgrazing, overdrafting of groundwater and diversion of water from rivers for human consumption and industrial use, all of these processes fundamentally driven by overpopulation. A major impact of desertification is biodiversity loss and loss of productive capacity, for example, by transition from land dominated by shrublands to non-native grasslands. In the semi-arid regions of southern California, many coastal sage scrub and chaparral ecosystems have been replaced by non-native, invasive grasses due to the shortening of fire return intervals. This can create a monoculture of annual grass that cannot support the wide range of animals once found in the original ecosystem. In Madagascar's central highland plateau, 10% of the entire country has been lost to desertification due to slash and burn agriculture by indigenous peoples. In Africa, if current trends of soil degradation continue, the continent will be able to feed only 25% of its population by 2025, according to UNU's Ghana-based Institute for Natural Resources in Africa. Globally, desertification claims a Nebraska-sized area of productive capacity each year.

Experience Mapping: Insight, Empathy and Business Buy-InAlex Horstmann

Notes in context here: goo.gl/eqyeeh How Experience Mapping, and the process you go through to create Experience Maps, can give you customer and business insight; build empathy and gain business buy in. Experience Maps are very much en vogue at the moment, but they are far more than just a pretty artefact: they are an incredibly valuable way of demonstrating an end to end journey from a customer’s perspective. We will look at how you can go about creating an experience map, the information that can be very valuable to show on it, and how it can be used to create effective, cross-channel and devices customer centric products and experience, and ones that drive real business value.

SlidesahareLuisa Jimenez

Cloud, IoT and Big DataSolidQIT

Datarace: IoT e Big Data (Italian)Davide Mauri

Power BI Streaming Data Flow e Azure IoT CentralMarco Parenzan

Dal 2015 gli utilizzatori di Power BI hanno potuto analizzare dati in real-time grazie all'integrazione con altri prodotti e servizi Microsoft. Con streaming dataflow, si porterà l'analisi in tempo reale completamente all'interno di Power BI, rimuovendo la maggior parte delle restrizioni che avevamo, integrando al contempo funzionalità di analisi chiave come la preparazione dei dati in streaming e nessuna creazione di codice. Per vederlo in funzione, studieremo un caso specifico di streaming come l'IoT con Azure IoT Central.

Power biMarco Pozzan

Power BI data flow and Azure IoT CentralMarco Parenzan

Dati, dati, dati! - Sfruttare le potenzialità delle XPages con Google Chart T...Dominopoint - Italian Lotus User Group

Un'immagine, si sa, vale più di mille parole, e a maggior ragione anche più di mille numeri: la rappresentazione visiva di una serie di cifre è la strada più rapida per identificare a colpo d'occhio le situazioni che necessitano di una più approfondita analisi di dettaglio. Strumenti come Google Chart Tools rendono possibile l'integrazione di grafici funzionali e moderni nelle proprie applicazioni web, e quando queste ultime sono realizzate sfruttando le potenzialità di Domino e la flessibilità delle XPages si può davvero parlare di felice unione tra esperienza produttiva e dinamica per l'utente e sviluppo rapido per il programmatore. In questa sessione analizzeremo insieme, con demo alla mano, diversi esempi pratici applicabili anche in contesto mobile, senza dimenticare l'importanza fondamentale di una selezione ragionata dei dati da elaborare.

Datamart.pdfMarco Pozzan

Introduzione a Microsoft AzureRoberto Albano

Power BI Streaming Data Flow e Azure IoT Central Marco Parenzan

Gestione integrata di reti di distribuzione idrica e gasServizi a rete

Win05 accesso ai dati in win 8DotNetCampus

Microsoft Outlook for Domino (IMSMO)Dominopoint - Italian Lotus User Group

2015.04.23 Azure Community Bootcamp 2015 Keynote ItalyMarco Parenzan

Datamart.pptxMarco Pozzan

Be simple presentazione istituzionalegabrielesannicandro

Polyglot Persistence e Big Data: tra innovazione e difficoltà su casi reali -...Data Driven Innovation

Oggi il tema non è più SI o NO ai sistemi NoSQL. Il problema sta nella capacità di essere “poliglotti” nell’uso di tecnologie per la gestione di dati e informazioni. Le strategie di innovazione sui Big Data nelle aziende non può prescindere dalla Polyglot Persistence, ma le difficoltà sono tante, specie in ambienti complessi ed enterprise. Ma la necessità di fare innovazione non è forte solo nelle startup, anzi…

Accelerare la migrazione al cloud e la modernizzazione dell'architettura con ...Denodo

Guarda qui: https://bit.ly/3imvkq4 Le odierne strategie di migrazione verso il cloud devono tenere conto della maggiore complessità, in tali contesti, delle attività di Governance dei dati e di definizione delle architetture ibride e multi-cloud, riducendo al contempo i rischi intrinseci di perturbare le attività degli utenti e delle applicazioni durante la migrazione. I vantaggi principali della tecnologia di virtualizzazione dei dati forniscono l'astrazione necessaria per disaccoppiare gli utenti e le applicazioni da attività quali la migrazione e il consolidamento dei dati, aggiungendo al contempo la semantica e la governance, necessarie nei moderni ambienti di dati. Unisciti agli esperti di Miriade e Denodo per sentire come la tua azienda può affrontare e superare le sfide insite nell’adozione di un modello Cloud e conoscere le Best Practice per una corretta gestione dei dati e dei costi in un tale modello. In questa sessione, parleremo di: - come l'astrazione dei dati è fondamentale per sostenere gli utenti e le applicazioni durante la migrazione dei dati; - come l'astrazione dei dati riduce la complessità degli ambienti Cloud ibridi; - come l'astrazione dei dati consente di accelerare le migrazioni del Cloud verso le moderne piattaforme dati e i Data Lakes; - come l'astrazione dei dati ottimizza in modo continuo i dati nel Cloud

Introduzione ad iDashboards 9.0Sergio Sardo

Azure Logic AppsMarco Parenzan

CV_gaetano_nisi Nisi Gaetano

Running Big Data

1. Think Big. Move Fast.

2. Francesco De Chirico • 13 anni nell’area formazione di Telecom Italia • 7 anni come libero professionista • Dal 2007 Mentor in SolidQ • Modellazione e sviluppo di soluzioni di BI con piattaforma Microsoft dal 2001 • Profonda conoscenza di SSAS e linguaggi MDX e DAX • Microsoft MCT dal 2008 • SSAS Maestro dal 2012 • Mail: [email protected]

3. Running Big Data

4. Datarace www.datarace.eu

5. Timing Data Service • Timing company leader a livello nazionale per numero di atleti cronometrati • oltre 350.000 atleti • più di un 1.000.000 di tempi di gara • Non solo atletica: • ciclismo, MTB, sci di fondo ed altre per un totale di oltre 30 discipline coperte • Offre servizi organizzativi, come • grafica TV • gestione delle iscrizioni • la produzione di materiali (pettorali, volantini, buste, ecc.)

6. SolidQ • Società Globale di consulenza sulla Piattaforma Dati Microsoft • Nata nel 2002 in Spagna & North America • Divisione Italiana aperta nel 2007 • Oltre 200 professionisti in tutto il mondo • Maggior concentrazione di Microsoft Valuable Professional su SQL Server • Offre servizi di Consulenza, Advisory, Mentoring e Formazione su • Data Warehousing, Business Intelligence, Big Data & Analytics • Performance Tuning, Performance Monitoring, Alta Disponibilità e Disaster Recovery • Offre soluzioni di Remote DBA, Security Assessment, Check-Up, Cloud BI

7. Obiettivi e metodologia • Definire architettura e "Big Data Journey" di riferimento • Applicazione pratica in progetti già in produzione • Fare "percepire" i big data agli utenti • Big Dirty Data: nel backoffice • Small Nice Useful Data: per l’utente finale • Dimostrare il "valore" dei dati anche in aziende in cui essi non rappresentano il core business • Problema: nel 2014 Azure era molto diverso da ora • Sfida: progettare un’architettura modulare migliorabile nel tempo • Soluzione: SolidQ Adaptive BI Framework (www.adaptivebi.it)

8. Architettura Fisica • Data Sources • RDBMS • JSON RESTful service • Wikipedia • Fast Ingest • Ad-Hoc .NET Service su Virtual Machine • vNext: Azure Event Hub + Azure Data Factory • Stock • Azure Blob Store per JSON • SQL Server / SQL Azure per dati strutturati Collect / Stock Fast Ingest Data Sources

9. Architettura Fisica • Batch Process su Raw Stock • HDInsight + Python Scripts + Hive Queries • Batch load con SSIS + HDInsight ODBC • Data Processing (VM + SQL Azure) • SQL Server In-Memory Engine / ColumnStore • T-SQL + SSIS • Ad-Hoc .NET Scripts (dentro SSIS) • vNext: Azure Stream Analytics • Identity Mapping (VM) • Multi-level Fuzzy Matching algorithm in SSIS • vNext: HDInsight + Tez/Spark Batch Process Data Process Data Process

10. Architettura Fisica • Distilled Data • SQL Azure • Analytics (Clustering, Forecasting) • Azure ML • Cache Engine • Azure Redis Distilled Data Analytics Analytics

11. Architettura Fisica • Web Application (Azure Web Apps) • REST Service per il Query Manager • HTML5 + Async JQuery Front End • Data Exploration • Excel per i Data Scientist • PowerBI per gli utilizzatori finali “evoluti” • Dove il sito web non basta Analytics Exploration

12. Funzionalità • Oggi • Dati ufficiali (pubblici) relativi a corse e corse in montagna • Analisi statistiche sui dati ufficiali • Da domani (27-11-2015) • Login per accesso ai propri dati (privati) previa registrazione sito TDS • Analisi statistiche sui propri dati • Next upgrades • Dati personali di allenamento • Wearables Devices Data (IoT) • Predictive Analytics • …

13. Datarace www.datarace.eu

14. Think Big. Move Fast. www.solidq.it

Running Big Data

Recommended

More Related Content

Similar to Running Big Data (20)

Running Big Data