Sistema di logging applicativo per ambienti distribuiti Hadoop-based - Monica Franceschini
Download as PPTX, PDF2 likes674 views
Il documento descrive l'architettura del logging per applicazioni distribuite basate su Hadoop, evidenziando l'uso di strumenti come Log4j, Kafka e Flume per la gestione e visualizzazione dei log. Viene presentata una soluzione scalabile e personalizzabile per l'analisi dei log generati da applicazioni big data, con enfasi sulla configurazione dinamica e sull'accesso near real-time. Infine, si discutono i vantaggi e le limitazioni delle tecnologie impiegate, nonché gli aspetti della visualizzazione tramite strumenti come Hue e Banana.
![• I log sono distribuiti nei worker-nodes e suddivisi per application_id:
$HADOOP_HOME/logs/userlogs/application_1474886780074_XXXX
• Se yarn log aggregation attivato directory = YARN_APP_LOGS_DIR:
Accesso da shell: yarn logs -applicationId <app ID>
Ma dopo che l’applicazione è terminata (no real-time)!!!
??#...##@@]]]!!!!!
°°°°ççççç?????????
Dove sono i log di Spark?](https://image.slidesharecdn.com/logging-applicativo2-170308165629/85/Sistema-di-logging-applicativo-per-ambienti-distribuiti-Hadoop-based-Monica-Franceschini-5-320.jpg)
Sistema di logging applicativo per ambienti distribuiti Hadoop-based - Monica Franceschini
- 1. Logging applicativo per ambienti distribuiti Hadoop-based Monica Franceschini Solution Architecture Manager Big Data & Analytics Competency Center Engineering
- 2. Lo scenario • Ecosistema Hadoop (Cloudera) • Applicazioni Spark (Scala) distribuite, Java, Java Webapp • Utilizzo di Log4j • Consultazione dei log centralizzata • Dedicato agli sviluppatori
- 3. • Progetto Big Data per il calcolo delle curve orarie di consumo energetico • Italia • Altre countries • Data Science Lab di Engineering con finalità analitiche Ambiti di applicazione
- 4. ? Dove sono i log di Spark?
- 5. • I log sono distribuiti nei worker-nodes e suddivisi per application_id: $HADOOP_HOME/logs/userlogs/application_1474886780074_XXXX • Se yarn log aggregation attivato directory = YARN_APP_LOGS_DIR: Accesso da shell: yarn logs -applicationId <app ID> Ma dopo che l’applicazione è terminata (no real-time)!!! ??#...##@@]]]!!!!! °°°°ççççç????????? Dove sono i log di Spark?
- 6. • Near-Real-Time • dettaglio della singola istanza di application • ricerche sui log in base a diversi criteri • severity configurabile Requisiti
- 7. PROs: • Ready-right-out-of- the-box • Open source CONs • Non-Hadoop-based • Indice ElasticSearch non su HDFS Elastic stack (ELK)
- 8. • Open source • Riutilizzabile in qualsiasi distribuzione Hadoop • Near real time • Piattaforma Big Data per i log prodotti dalle applicazioni Big Data • Configurabile dinamicamente • Customizzabile • Distribuita • Scalabile • Interrogazioni su web application Parametri di scelta
- 9. • Log4j : sistema di logging • Zookeeper : gestione distribuita di file di configurazione e notifica di eventi significativi per il sistema • Kafka : sistema di messagging per il trasferimento dei messaggi • Flume : processing layer per deserializzazione/mapping su solr dei messaggi • Morphline: trasformazione dei dati per indice Solr • SolrCloud : storage dei messaggi di log • Kibana on Solr (Banana): visualizzazione dei messaggi presenti su Solr Stack tecnologico Apache
- 10. • distributed messaging system • pub-sub model • highly scalable and redundant messaging • highly available and resilient • automatic recovery • Producer: programma che invia messaggi a Kafka • Topic: raggruppamento di messaggi simili • Key/value pair messages: la forma dei messaggi • Consumer: programma che estrae messaggi da Kafka • Consumer Group: gruppo di consumer, per agevolare scaling e HA • Offset: identificatore logico di un messaggio all’interno di una partizione • Broker: demone responsabile dell’invio, ricezione e salvataggio dei dati • Zookeeper: sistema per coordinazione distribuita e service discovery • Partition: porzione di topic • Replica: salvataggio di una partizione di dati su più nodi per durability Apache Kafka
- 11. • File system gerarchico e distribuito • HA e fault tolerant • Fast (in-memory reads) • Gestisce partial failures • Reliable configuration system • Gestisce load balancing Distributed coordination service Apache Zookeeper
- 12. “Apache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of streaming data into the Hadoop Distributed File System (HDFS). It has a simple and flexible architecture based on streaming data flows; and is robust and fault tolerant with tunable reliability mechanisms for failover and recovery.” Apache Flume
- 13. Spark processes +webapps +Java applications Log4J Appender Log4j Kafka source Kafka channel Morphline sink Solr Banana Flume Zookeeper (Severity level) Processing Layer Storage Layer Visualization Layer Log Agent Architettura
- 14. Flume flessibilità nella scelta dello storage e /o visualizzazione dei messaggi. Storage Layer HDFS Spark processes +webapps +Java applications Log4J Appender Log4j Kafka source Kafka channel Morphline sink Flume Zookeeper (Severity level) Processing Layer Log Agent Flessibilità della soluzione
- 15. Automaticamente vengono inseriti: • utente • hostname • thread-name Manualmente: • System id • Module id • Application Name (opzionale) • Source Id (opzionale) • Logging Level (opzionale) Appender Log4j
- 16. • Livello di logging update (severity) gestita da Zookeeper non è necessario riavviare le applicazioni • È possibile cambiare il livello di logging di ogni appender registrato durante l'esecuzione dell'applicazione in maniera programmatica, scartando i messaggi che hanno un livello di logging inferiore a quello impostato • Scrive il log in formato JSON su Kafka Kafka producer • Grazie a “contesti di logging”, è possibile aggiungere informazioni in maniera dinamica ai messaggi di logging (utilizzo di moduli condivisi all'interno della stessa applicazione ospite, da “applicazioni” diverse ) Appender Log4j- funzionalità
- 17. • 3 Kafka brokers su • 3 nodi • Fattore replica 2 • 1 Kafka topic con • 3 partitions • 3 solr shards Configurazione dello stack
- 18. Un po’ di codice…
- 20. ……… { extractJsonPaths { flatten: true paths: { threadId: "/threadId" level: "/level" logTime: "/logTime" systemId: "/systemId" appId: "/appId" appName: "/appName" module: "/module" action: "/action" status: "status" user: "/user" message: "/message" hostname: "/hostname" body: "/body"} } } ………………. ………….. solrLocator: { collection: "distroLogs" # ZooKeeper ensemble zkHost: "mn01,mn02,mn03:2181/solr" } …….. Morphline
- 22. Test me!!!
- 24. Solr Search (Hue embedded) PROs: - molti widget grafici disponibili out-of-the-box - possibilità di creazione di molteplici dashboard - funzionalità di SSO e condivisione delle dashboard sfruttando le funzionalità di HUE CONs: - Dashboard non funzionano correttamente su collection di Solr distribuite su più nodi (HUE BUG) Visualization layer: Hue
- 25. Apache Banana (https://github.com/lucidworks/banana) • Forked from Kibana • Build come .war file • Run su web-container dei Solr server o su una macchina diversa (abilitare i CORS sui Solr Server) PROs: - molti widget grafici disponibili out-of the box - possibilità di creazione di molteplici dashboard CONS: - Non offre nessun tipo di autenticazione Visualization layer: Banana
- 26. Full-text search Time series Detail tableFacets Dashboards Banana dashboards
- 27. Thank you! https://creativecommons.org/licenses/by-nc-sa/3.0/ Twitter: @twittmonique Email: [email protected] Special thanks to Matilde and her puppies!
Editor's Notes
- #14: difficoltà a deserializzare i messaggi provenienti da Kafka dentro l'agente quando questi erano modellati come file Avro
- #15: morphline apposita che ha come sorgente Kafka e come output l'Hdfs.La generazione del file su HDFS avviene seguendo le logiche definite nella configurazione dell'HDFS sink nell'agent(numero di eventi o dimensione del file)
- #16: avevamo bisogno di una struttura che permettesse di arricchire il messaggio di Log con più informazioni e il Kafka appender non ci forniva la flessibilità necessaria