Paris JUG Spring Batch
Télécharger en tant que PPTX, PDF0 j'aime1,720 vues
La présentation sur Spring Batch aborde le traitement par lots en Java, mettant en avant ses enjeux, notamment la fiabilité et la maintenabilité. Les intervenants expliquent les concepts clés de Spring Batch, sa configuration, ainsi que ses fonctionnalités avancées telles que la reprise sur erreur et le parallélisme. Des exemples pratiques et des gains de performance par rapport aux systèmes legacy sont également discutés.
Paris JUG Spring Batch
- 1. Spring Batch Mardi 14 Mai 2013 Paris JUG Olivier Bazoud Julien Jakubowski
- 2. Julien Jakubowski@jak78 Java depuis > 10 ans Spécialisé Java EE / Spring Vos réactions: #springbatch #parisjug Intervenants Olivier Bazoud@obazoud Architecte technique sénior Java EE / Spring, Spring Batch, NoSQL, Node.js Co-auteur de « Spring Batch in Action »
- 3. De quoi va-t-on parler ce soir ? • On va parler de batchs en Java • … et aussi de bière http://www.flickr.com/photos/fromeyetopixel/2559391584/
- 4. Nos objectifs En sortant de la salle, vous savez: Si Spring Batch est utile pour vous (ou pas) Les notions principales de Spring Batch … et quelques notions avancées Faire un batch « Spring Batch » dès demain https://github.com/obazoud/spring-batch-sug
- 5. Batch : de quoi parle-t-on ? Batch processing = répétition de traitements sur un ensemble de données…
- 6. Batch : de quoi parle-t-on ? … potentiellement grands volumes… http://www.flickr.com/photos/claudiasofia99/2878579560/
- 7. Batch : de quoi parle-t-on ? … sans intervention d’un utilisateur humain – pas d’interface homme-machine
- 8. Batch : de quoi parle-t-on ? batch ≠ scheduler
- 11. Problèmes récurrents • Réinvention de la roue… carrée
- 12. Spring Batch propose… • Un cadre • Un vocabulaire (domainlanguage) • Traitement par lots • Flow, Reprise sur erreur, … • Spring dans ses batchs • … Parallélisme Partitionnement Spring Batch Admin
- 13. Spring Batch Notions de base
- 14. BeerBatch • Ecrire la date de début du batch • Lire le fichier XML de recettes, au format BeerXML • Ecrire en base de données
- 16. Schéma du batch RecipeStep InitialStep Ecrit une date dans un log Chunkorientedtasklet ItemReader ItemWriterItemProcessor
- 17. Tasklet RecipeStep InitialStep Chunkorientedtasklet ItemReader ItemProcessor ItemWriter Ecrit une date dans un log
- 18. Tasklet • Besoin – Effectuer 1 tâche unitaire • Exemples – Unzip d’un fichier – Ecrire une date dans un log – …
- 20. ItemReader • Besoin – Lire le XML de recettes • ItemReader – Fournit des items en entrée
- 21. Morceaux de code
- 23. ItemProcessor • Besoin – Transforme, valide et / ou filtre une recette • ItemProcessor – Transforme un item en un autre – Filtrer ou rejeter un item – Emplacement pour les « règles métier »
- 25. ItemWriter • Besoin – Décharge les bières dans une base SQL • ItemWriter – Ecrit les items
- 26. Chunk RecipeStep InitialStep InitialTasklet Chunkorientedtasklet ItemReader ItemProcessor ItemWriter
- 27. Chunk • Besoin – Lire, transformer et écrire • Chunk – Lit et transforme chaque recette successivement – Ecrit les recettes, par lot
- 28. Chunk Taille du lot = commit interval = 2
- 29. Step RecipeStep InitialStep Chunkorientedtasklet ItemReader ItemProcessor ItemWriter InitialTasklet
- 30. Step • Besoin – Etape dans le processus du batch – Contrôle le workflow
- 31. Job RecipeStep InitialStep Chunkorientedtasklet ItemReader ItemProcessor ItemWriter InitialTasklet
- 32. Job • Besoin – Décrire les étapes du batch – Composé d’un ou plusieurs steps Spring Tools Suite
- 33. Tests automatisés • Coder un batch en TDD • Tests d'intégration facilités https://github.com/obazoud/spring-batch-sug
- 34. Forces et faiblesses ✔Batchs complexes mieux maintenables ✔ Productivité ✔ Tests ✗Ticket d'entrée ✗Ne convient pas à tous les batchs
- 35. Retour d’expérience Ekino • Avec « Spring Batch » – Moins de code produit – Plus de tests unitaires & intégrations – SpringBatch s'occupe de la montée en charge – SQL/MyBatis • Gain par rapport à un batch « legacy » – XML 100Mo + SQL; Gain : de 60 mn à 8mn – 10 fichiers 4Mo + SQL; Gain : de 10mn à 1mn30s – 20 fois rapide qu’un batch en … PHP ;)
- 36. JSR-352 « javax.batch » Ressemble beaucoup à Spring Batch
- 37. Spring Batch Allons plus loin
- 38. Un batch plus robuste
- 39. Flow
- 41. Monitoring
- 43. Un batch plus robuste reprise sur erreurs
- 44. Reprise sur erreur • SpringBatch « out-of-the-box » propose: – Sauter les erreurs non bloquantes (skip) • survivre à quelques données invalides – Recommencer un traitement (retry) • survivre à une indisponibilité temporaire – Redémarrer un batch (restart) • on est en mesure de le relancer
- 45. Reprise sur erreur: Skip • Par défaut, au-delà du « skip-limit », failed 0001;ABC;DEF; 0002;ABC;DEF; 000zxjgxdjghjsdfkud 0004;ABC;DEF;
- 46. Reprise sur erreur: Retry
- 47. Reprise sur erreur: Retry • Relancer une opération si indisponibilité • Par défaut, au-delà du « retry-limit », failed • Personnaliser le « retry » – RetryPolicy – Stratégie entre 2 « retry »: BackoffPolicy • RetryListener pour écouter
- 48. Reprise sur erreur: Restart
- 49. Reprise sur erreur: Restart • Spring batch stocke des méta data
- 50. Reprise sur erreur: Restart • Indique si le job est «restartable » • Indique le nombre max de « restart » • Reader/Writer doivent être « restartable »
- 51. Reprise sur erreur Conclusion • Ecarter des items défectueux (skip) • Recommencer une step s’il y a une erreur temporaire (retry) • Redémarrer un job (restart)
- 52. Flow
- 53. Gestion du flow • Exemple plus simple ;) StepA StepB StepAlert FAILED *
- 54. Gestion du flow
- 55. Gestion du flow • Status – Etat du job/step en cours/après d’exécution • Créer et utiliser ses propres « status » • Gérer le flow – StepExecutionListener – JobDecider
- 57. Scaling
- 58. Horizontal Scaling • RabbitMQ: Message-Oriented Middleware – Découpler le producteur des consommateurs • Batch Orienté Tâche ou Worker
- 59. Horizontal Scaling Worker Batch Worker Batch Spring Batch Worker Batch AMQP Spring Integration Exchange Queue Batch Spring Batch Spring Batch AMQP Spring Integration
- 60. Scaling • Si un ItemProcessorest « lent » • ItemProcessor en asynchrone • ItemWriter attend la fin des processors • AsyncItemProcessor / AsyncItemWriter
- 61. Scaling • Multi-threaded Step (Local) – Une Step est multithreaded • Parallel Steps (Local) – Les Steps sontexécutées en parallèle
- 62. Scaling • Remote Chunking of Step (Remote) – Distribution des chunks (Horizontal Scaling) – Reader sur les master – Processor/Writer sur les slaves • Partitioning a Step (Local + Remote) – Découpe les donnéessuivantuneclé de partition
- 64. Monitoring • Collectd – http://collectd.org – démon qui recueille périodiquement des statistiques de performance du système • JMXTrans – https://github.com/jmxtrans/jmxtrans – Interroge les données JMX de la JVM et les envoyer dans Graphite
- 65. Monitoring • Metrics – http://metrics.codahale.com/ – Connaitre l’intérieur de votre application – Gauges, Counters, Meters, Histogram, Timers • Extension pour Spring Batch – https://github.com/obazoud/metrics-spring-batch – Bientôt sur Maven Central
- 66. Monitoring Mode push au lieu de pull
- 67. Monitoring
- 69. Spring Batch Admin • Console Web pour Spring Batch – « Standalone » ou « Embedded » – API Rest – Uploader une configuration, un fichier à traiter – « Customisable » – Informations sur les jobs, steps, …
- 70. « Spring Batch in Action » http://bit.ly/springbatchinaction http://www.ekino.com Un petit Tweet à @3k1n0 ;)
- 72. Liens • Le code de la présentation – https://github.com/obazoud/spring-batch-sug • Spring Batch 2.1.x – http://static.springsource.org/spring-batch • Spring Batch 2.2 comingsoon • Articles sur le web – http://www.theserverside.com/news/1363855/Spring-Batch-Overview – http://www.infoq.com/presentations/syer-introducing-spring-batch – http://blog.zenika.com/index.php?post/2010/03/05/To-batch-or-not-to- batch – http://blog.octo.com/spring-batch-par-quel-bout-le-prendre/