Big Data Des méandres des outils au potentiel business
Télécharger en tant que PPTX, PDF3 j'aime1,811 vues
Le document traite de l'impact et de l'importance du big data dans divers secteurs, y compris la banque, les télécommunications et l'agriculture, en soulignant son rôle dans l'analyse des données massives pour améliorer la prise de décision et l'innovation. Il aborde également les défis techniques associés à la gestion des données et décrit des approches et outils spécifiques pour exploiter le big data. En fin de compte, il souligne comment le big data peut transformer les entreprises en leur permettant de mieux comprendre et servir leurs clients.
Big Data Des méandres des outils au potentiel business
- 1. www.neoxia.com IT for Business Performance Open Source Days 4.0 ENSA Khouribga Big Data : Des méandres des outils au potentiel Business 24/02/2014
- 2. 2 Sommaire 1. Pourquoi le Big Data 2. C’est Quoi le Big Data 3. Le Comment du Big Data 4. Les impacts Business
- 3. Pourquoi le Big Data #1
- 4. Révolution numérique 4 La révolution numérique en cours aura des effets au moins aussi considérables qu’en leur temps l’invention de l’écriture puis celle de l’imprimerie. Les notions de temps et d’espace en sont totalement transformées et les façons d’accéder à la connaissance profondément modifiées. Michel Serres, Petite Poucette, Editions Le Pommier, 2012
- 5. Révolution numérique 5 Big Data : “… data a new class of economic asset, like currency or gold.” The New York Times
- 6. 6 Web et réseaux sociaux 72 Hours a Minute YouTube 28 Million Wikipedia Pages 900 Million Facebook Users 6 Billion Flickr Photos
- 7. 7 Internet des objets + Il y avait 9 milliards d’objets connectés en 2011, nous en compterons 25 milliards en 2020, 50 voire 80 milliards en 2025 selon les études. Ceci correspond à 2 objets connectés à l'Internet pour chaque individu, en 2025, les analystes prévoient que ce ratio dépassera six. + En matière de santé, 50 millions d’objets médicaux connectés devraient être diffusés aux États-Unis d’ici à 2015. + « L’IoT fait référence à un réseau qui interconnecterait l’ensemble des objets en leur donnant la capacité de communiquer entre eux, directement ou par l’intermédiaire d’Internet, pour échanger des informations (sur leur identité, leurs caractéristiques physiques, leur environnement), pour réagir à des commandes, etc. »
- 9. 9 Internet des objets : Wearables
- 10. Open Everything + Open Everything • Open Source • Open Contents • Open Data • Open Access • Open Hardware 5Arduino, DIY) • Open Coursware/Classroom + Il permet de bouleverser la notion de propriété intellectuelle et d’offrir un potentiel de partage et d’innovation sans précédent et notamment pour l’Afrique
- 11. 11 Caractéristique de l’ère numérique Des caractéristiques pourtant intelligibles : vers l’entreprise numérique + Connectée (expériences multicanales au travers du e-commerce, des applications mobiles et des tablettes, etc.), + Intelligente (prise de décision avertie grâce au Big Data et développement de la transversalité entre les différentes branches, etc.), + Agile (efficacité opérationnelle amplifiée grâce à l’automatisation et la « digitalisation » des processus), + Sociale (amélioration de l’image de marque et de la collaboration interne au travers de l’exploitation des médias sociaux).
- 12. Les forces derrières les tendances
- 13. Gartner : Hype Cycle
- 14. 14 Intérêt pour les entreprises INNOVATION PRODUIT CONNAISSANCE DES CLIENTS (SEGMENTATION, CIBLAGE) MAITRISE ET PREVISION DES COURS PERFORMANCE COMMERCIALE PERFORMANCE ENVIRONNEMENTALE VEILLE CONCURRENTIELLE INTELLIGENCE ÉCONOMIQUE
- 15. C'est quoi le Big Data #2
- 16. Big Data + Big Data : Grosses données : Données massive : Datamasse + « Des ensembles de données qui deviennent tellement volumineux qu'ils en deviennent difficiles à travailler avec des outils classiques de gestion de base de données ou de gestion de l'information. » + Dans ces nouveaux ordres de grandeur, la capture, le stockage, la recherche, le partage, l'analyse et la visualisation des données doivent être redéfinis. + L’un des défis majeurs de la décennie 2010-2020 + Le taux de croissance annuel moyen mondial du marché de la technologie et des services du Big Data sur la période 2011-2016 devrai être de 31.7%. + Ce marché devrait ainsi atteindre 23,8 milliards de dollars en 2016 + Le Big Data devrait également représenter 8% du PIB européen en 2020
- 17. Règle des 3V + Volume les données numériques créées dans le monde seraient passées de 1,2 zettaoctetspar an en 2010 à 1,8 zettaoctets en 2011, puis 2,8 zettaoctets en 2012 et s'élèveront à 40 zettaoctets en 2020 Twitter génère à l’heure actuelle 7 teraoctets de données chaque jour et Facebook 10 teraoctets De nombreux projets, de dimension pharaonique, sont ainsi en cours. Le radiotelescope “Square Kilometre Array” par exemple, produira 50 teraoctets de données analysées par jour, à un rythme de7 000 teraoctets de donnée brutes par seconde + Vélocité La vélocité représente à la fois la fréquence à laquelle les données sont générées, capturées et partagées. Data Stream Mining (pour les processus chronosensibles) + Variété Ces données sont brutes, semi-structurées voire non structurées Format texte et image (Web Mining, Text Mining et Image Mining) Données provenenant des réseaux sociaux, des objets connectés, des capteurs…etc Open data ou propres à l’entreprise Liens entre données de natures différentes
- 18. 18 Différence par rapport au BI + BI Au sein d’un entreprise Volume moyen des données Données à forte densité Statistiques descriptives Mesures et indicateurs + Big Data Transverse (au sein d’un écosystème) Volume énorme des données Donnée à faible densité Statistiques inférentielles Tendances et prédictions
- 19. 19 Modèles • Des bases de données NoSQL sont utilisées pour le stockage des information pour optimiser le stockage et le traitement (Graphe, Clé-valeur, Colonnes…etc) • Des patterns d’architecture “Big Data Architecture framework (BDAF)” sont proposés par les acteurs de ce marché comme MapReduce développé par Google et utilisé dans le framework Hadoop. • Avec ce système les requêtes sont séparées et distribuées à des nœuds parallélisés, puis exécutées en parallèles (map). Les résultats sont ensuite rassemblés et récupérés (reduce). • Des modèles statistiques et de Data Mining sont utilisés pour extraire de la connaissance de la donnée • Business Analytics & Optimization (BAO) permettent de gérer des bases massivement parallèles
- 21. Le Comment du Big Data #2
- 22. 22 Chaîne de traitement standard StockageAcquisition Requêtage RestitutionAnalyse Ordonnancement / Industrialisation
- 23. 23 • Acquisition : Apache Storm, Apache Flume, Apache Kafka, Spark Streaming • Requêtage : Apache Pig, Apache Hive, Cloudera Impala • Stockage : Apache HDFS, Apache HBASE, Cassandra, Redis • Analyse : Apache Mahout, Spark MLLib • Restitution : En général, reprise d’outils de Business Intelligence (Talend, Pentaho, Tableau Software, etc.) • Ordonnancement/Industrialisation : Apache Mesos, Apache ZooKeeper Quelques outils utilisés
- 24. • « Ok, c’est bien : mais mes data son BIG !! »
- 25. Comment traiter des données de plus en plus volumineuses ? • Approche 1 : Augmenter la capacité de traitement des ordinateurs • Approche 2 : Augmenter le nombre de processeurs dans un ordinateur • Approche 3 : Utiliser des ordinateurs en parallèle LIMITÉ TECHNIQUEMENT SOLUTION PRÉCONISÉE LIMITE TECHNIQUEMENT
- 27. Framework de développement parallélisé Système de fichiers distribué Paradigme de développement parallélisé Comment paralléliser les traitements ?
- 28. Comment fonctionne map reduce ?
- 29. 29 Distribution Hadoop : Cloudera CDH
- 30. 30 • Apche Flume : Flume est une solution de collecte et d’agrégation de fichiers logs, destinés à être stockés et traités par Hadoop. • Il a été conçu pour s’interfacer directement avec HDFS au travers d’une API native. • Flume est à l’origine un projet Cloudera, reversé depuis à la fondation Apache. • Alternatives : Apache Chukwa. • Apache Mahout : Apache Mahout est un projet de la fondation Apache visant à créer des implémentations d’algorithmes d’apprentissage automatique et de datamining. Configuration possible (traitement des logs monétique)
- 31. 31 • Sqoop permet le transfert des données entre un cluster Hadoop et des bases de données relationnelles. • C’est un produit développé par Cloudera. • Il permet d’importer/exporter des données depuis/vers Hadoop et Hive. • Pour la manipulation des données Sqoop utilise MapReduce et des drivers JDBC. Configuration possible (traitement des logs monétique)
- 32. 32 Configuration possible (traitement des logs monétique)
- 33. DATA MINING ET MACHINE LEARNING • Machine learning s’intéresse aux prédictions, basées sur des propriétés apprises par le processus d’apprentissage • Data mining s’attache à découvrir des nouvelles propriétés sur des données passées
- 43. Big Data et impact Business #4
- 44. 44 Big Data dans la Banque + Détection de fraude : détection de patterns suspects d’utilisation des cartes en se basant sur les patterns d’usages normaux + Innovation produit : proposition de nouveaux produits selon les modèles d’utilisation des cartes et les informations client pour une meilleure acquisition/rétention client (permettre de proposer des cartes avec des réduction partenaires selon les besoins clients récurrents) + Segmentation client : utiliser les classification pour segmenter les clients selon des données sur leurs transactions (permettre de proposer une carte de plus haute valeur selon le segment) + Gestion de risque : meilleur calcul en ligne de risque (pour les engagements) basé sur les transactions carte + Prédiction du comportement futur des clients
- 45. 45 Big Data dans les Télécom + Innovation produits sur la base de l’historique de consommation + Segmentation client par classe en prenant en compte les données marché + Vente croisée de produit et fidélisation + Détection de fraude (pattern de consommation) + Supervision réseaux et anticipation des pannes + Dimensionnement réseaux
- 46. 46 Big Data dans l’Agriculture + Plantation : Ou? Quoi? Comment + Conduite technique : Quels intrants, Quand? A quelle quantité? + Vente : Connaissance du marché et de cours de prix : Quand vendre? A quel prix Comment le prix va évoluer?
- 47. Plantation : quoi? Où? Comment?
- 48. Conduite technique : Eau, fertilisants, pesticides, pratiques agricoles
- 49. Vente : Connaissance des marchés, cours des prix
- 50. Une solution Big Data en trois étapes • Plate forme de conseil agricole basée sur la technologie du BIG DATA Différentes sources de données - Intrants (logiciels de gestion) - Climat : station météo -Serveur de données : cours des prix -Images satellite Structuration des données - Développement de patterns -Développement de modèles mathématiques Conseil des agriculteurs - Visualisation des données - Différents formats -Multicanaux Collecter la donnée Analyser l’information Partager la connaissance 1 2 3
- 51. Etape 1 : Collecter la donnée Capteurs et télémétrie Images Sattelite Logiciels de gestion agricole Prix des produis Météo Cartographie et déodata
- 52. Données non structurés Données structurés Statistiques et modèles Etape 2 : Analyser l’information
- 53. Etape 3 : Partager la connaissance La plateforme permet de promouvoir les bonnes pratiques agricoles sur la base de modèles issues des données terrains mises à disposition sur plusieurs canaux
- 54. 54 Merci