Paris Container Day 2016 : Conteneurisation de l’usine logicielle (Retour d'expérience Xebia & Libon)
1 j'aime399 vues
Ce document présente le retour d'expérience sur la conteneurisation de l'usine logicielle du projet Libon d'Orange Vallée, illustrant l'évolution vers une infrastructure entièrement conteneurisée. Il décrit la mise en place d'architectures basées sur Docker et Mesos pour optimiser le déploiement et la gestion des applications, ainsi que les défis rencontrés et les solutions mises en œuvre. Les discussions abordent également la sécurité, la gestion des données et l'amélioration des performances de la plateforme.
Paris Container Day 2016 : Conteneurisation de l’usine logicielle (Retour d'expérience Xebia & Libon)
- 1. @ContainerDay16 @jlrigau @fthouny Conteneurisation de l'usine logicielle Retour d’expérience du projet Libon d’Orange Vallée @ContainerDay16
- 2. @ContainerDay16 Jean-Louis RIGAU @jlrigau Continuous Delivery, DevOps and Docker @ Xebia IT Architects Fabien THOUNY @fthouny Craftsmanship, Agile, Tech Lead @ Libon
- 3. @ContainerDay16 @jlrigau @fthouny Appeler... ● Appels VoIP (app to app) gratuits ● Appels VoIP-Out à prix réduits vers plus de 140 destinations
- 4. @ContainerDay16 @jlrigau @fthouny Envoyer des messages... ● Chat utilisant le protocole XMPP ● Échange de fichiers
- 5. @ContainerDay16 @jlrigau @fthouny Simplement ! ● Multi-plateforme ○ Android ○ iPhone ○ Web HTML5 ● Synchronisées grâce à des API REST
- 6. @ContainerDay16 Il était une fois, il y a fort longtemps...
- 7. @ContainerDay16 @jlrigau @fthouny build1 Instance unique de Jenkins
- 8. @ContainerDay16 @jlrigau @fthouny ● Mises à jour OS ● Librairies systèmes ● Versions de SDK ○ JDK 1.7/1.8 ● Mutualisation des services ○ Cassandra, Oracle, MySQL ● Ressources de la machine ● Risque de défaillance Difficultés multiples
- 9. @ContainerDay16 @jlrigau @fthouny build1 Gestion des besoins spécifiques build2 slave
- 10. @ContainerDay16 @jlrigau @fthouny ● 2 machines ○ l’une surchargée ○ l’autre sous-utilisée ● Versions OS différentes ○ Écart entre les packages ○ Davantage de maintenance Toujours plus de complexité !
- 11. @ContainerDay16 Et vint le temps de la révolution...
- 12. @ContainerDay16 @jlrigau @fthouny Construire, transporter et exécuter tout type d’application sur tout type de plate- forme Opérer ses applications au sein de son Data Center comme s’il s’agissait d’une ressource unique Boîte à Outils 1/2 Déployer et orchestrer ses conteneurs au sein d’un cluster Mesos à l'échelle
- 13. @ContainerDay16 @jlrigau @fthouny Boîte à Outils 2/2 Configuration automatique de HAProxy et Découverte de Service pour Mesos Marathon Open-source TCP/HTTP load-balancing proxy server Bamboo
- 14. @ContainerDay16 @jlrigau @fthouny Architecture du Cluster
- 15. @ContainerDay16 @jlrigau @fthouny Framework Marathon
- 16. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 Mise en Cluster de la CI Bamboo Bamboo Bamboo
- 17. @ContainerDay16 @jlrigau @fthouny ● Gestion des images Docker ○ Stockage ○ Distribution ● Déploiement ○ Image officielle sur le Docker Hub ○ Utilisation de Marathon ● Sécurité ○ Authentification LDAP ○ TLS Docker Registry
- 18. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 Déploiement de la Registry Bamboo Bamboo Bamboo
- 19. @ContainerDay16 @jlrigau @fthouny Configuration d’un Service ● Configuration au format JSON ○ Image ○ Volume, Mapping de ports ○ Ressources ○ Contraintes ○ Health Check ● Déploiement avec l’API REST de Marathon ● Utilisation des images officielles ○ Disponible sur le Hub
- 20. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 Déploiement des Services Bamboo Bamboo Bamboo API Docs Slack Bot Zk UI Version Board
- 21. @ContainerDay16 @jlrigau @fthouny Framework Jenkins Scheduler
- 22. @ContainerDay16 @jlrigau @fthouny ● Création d’images de “Build” ○ Héritant de l’image “build-tools” ○ Une image Docker par runtime ● Utilisation du Jenkins Mesos plugin ○ 1 slave = 1 image Docker ○ Utilisation des labels dans les jobs ● Slave à la demande ○ Création de tâches Mesos ○ Nettoyage automatique Création des slaves
- 23. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 Jenkins Slaves conteneurisés Bamboo Bamboo Bamboo API Docs Slack Bot Zk UI Version Board
- 24. @ContainerDay16 @jlrigau @fthouny ● Binaire développé en Go ○ Inclut dans les images de build ○ Disponible sur le poste de DEV et sur l’environnement de CI ● Mêmes outils en CI et sur le poste de développement Binaire “build-machine”
- 25. @ContainerDay16 @jlrigau @fthouny DEMO Construction et déploiement d’une application
- 26. @ContainerDay16 Place à l’ industrialisation de la plateforme...
- 27. @ContainerDay16 @jlrigau @fthouny Spécialisation de l’infrastructure ● Séparation Master / Slave ○ Extraction du master vers une VM ○ Conservation des machines physiques pour les slaves ● Réorganisation des modules Puppet ○ 2 profils master et slave
- 28. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 buildfiler2 buildfiler3 buildfiler4 Bamboo Bamboo Bamboo Bamboo Bamboo Bamboo buildmaster1 Séparation Master / Slave API Docs Slack Bot Version Board Zk UI
- 29. @ContainerDay16 @jlrigau @fthouny ● 2 types de données ○ Cache (Docker, Maven, NPM, Gradle, etc.) ○ Données persistantes (Registry, Jenkins, Sonar, Nexus, Dashboard, etc.) ● Mise en place de GlusterFS ○ Mutualisation des capacités de stockage des noeuds du cluster ○ Volume répliqué et distribué (~ 1,6 To disponible au final) ● Création d’un point de montage “/shared” ○ Accessible sur chacun des noeuds du cluster Gestion des Données
- 30. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 buildfiler2 buildfiler3 Distributed Replicated GlusterFS Volume buildfiler4 Bamboo Bamboo Bamboo Bamboo Bamboo Bamboo buildmaster1 CI entièrement conteneurisée ! API Docs Slack Bot Zk UI Version Board
- 31. @ContainerDay16 @jlrigau @fthouny Performances de la Registry ● Registry : point faible de l’architecture ○ Ajout d’une deuxième instance en cluster ● Le Docker Hub peut être lent ○ Mise en place d’un cluster de miroirs ● Boucle sur Internet pour accéder à la registry ○ Ajout d’une entrée dans le /etc/hosts de chacun des noeuds
- 32. @ContainerDay16 @jlrigau @fthouny build1 build2 buildfiler1 buildfiler2 buildfiler3 Distributed Replicated GlusterFS Volume buildfiler4 Bamboo Bamboo Bamboo Bamboo Bamboo Bamboo buildmaster1 Registry en Haute Disponibilité API Docs Slack Bot Version Board Zk UI mirror mirror
- 33. @ContainerDay16 @jlrigau @fthouny ● Mise en place d’un système de gestion de droits sur la Registry ○ PoC de Portus en cours ● Utilisation des images officielles pour nos builds ○ Exploration de Jenkins 2.x et du Plugin Pipeline ● Élimination des dernières faiblesses de l’architecture ○ Master à mettre en cluster ● Emmener les conteneurs jusqu’en Production ! ○ En s’appuyant sur l’expérience acquise sur la CI Quelles évolutions ?