Le Comptoir OCTO - ChatGPT : Menace ou opportunité ?
- 1. 1 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ChatGPT Menace ou opportunité ? Comptoir. 21/03/23
- 2. 2 OCTO Part of Accenture © 2022 - All rights reserved There is a better way Nicolas Cavallo Head of Natural Language Processing Mail : [email protected]
- 3. 3 OCTO Part of Accenture © 2022 - All rights reserved There is a better way ChatGPT < 30min = 🤯 + GPT4
- 4. 4 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Sommaire I. Contexte A. Un peu d’histoire B. Comprendre Techniquement C. Pourquoi chatGPT (et pas un autre) D. Futur & GPT4 I. Parlons business A. Cas d’usage, B. Les métiers C. Exemples I. Les actions
- 5. 5 There is a better way OCTO Part of Accenture © 2023 - All rights reserved De quoi on parle ? I
- 6. 6 There is a better way OCTO Part of Accenture © 2023 - All rights reserved
- 7. 7 There is a better way OCTO Part of Accenture © 2023 - All rights reserved
- 8. 9 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Un peu d’histoire A
- 9. 10 There is a better way OCTO Part of Accenture © 2023 - All rights reserved 100 Million utilisateurs en 2 Mois Comment on en arrive là Des unes grand public
- 10. 11 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Large Language Models (LLM) Les grands modèles de langages ChatGPT = l’aboutissement de deux thématiques émergentes Reinforcement learning (RL) L’apprentissage par Renforcement Mars 2016 - victoire de DeepMind (google) au GO grâce à des méthodes de renforcement. Dec 2017 (google) - Les modèles d’attentions ouvrent la voix à la création de modèles de langage.
- 11. 12 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Elon Musk & Sam Altman fondent OpenAI en 2015… avec 1Mds$ ChatGPT += Une équipe + de l’argent
- 12. 13 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Elon Musk a quitté le bateau en 2018 car conflit d'intérêt avec Tesla ChatGPT += Une équipe + de l’argent
- 13. 14 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Techniquement - Comment ça fonctionne ? B
- 14. 15 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Un peu de modèle de langage -Large Language Models (LLM) 1
- 15. 16 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ๏ Un papier fondateur: "Attention Is All You Need", sorti en 2017 par Google ๏ Une nouvelle architecture : les Transformers La révolution Transformers
- 16. 17 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Décodeur Encodeur Comprendre les Transformers Pire navet de l’ Histoire Worst 3.14 7.77 -0.03 : -5.83 0.01 <START> -8.10 4.04 -6.93 : 3.33 8.76 -0.20 0.65 -2.22 : 4.78 - 0.09 -0.07 0.56 -0.12 : 0.05 0.00 0.02 8.23 -3.21 : 0.07 1.11 -0.23 0.19 -1.77 : 3.89 -0.01 -0.79 0.40 -0.29 0.60 0.02 0.94 0.04 : 0.00 0.00
- 17. 18 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Encodeur Attention Décodeur Comprendre les Transformers Pire navet de l’ Histoire Worst 3.14 7.77 -0.03 : -5.83 0.01 <START> -8.10 4.04 -6.93 : 3.33 8.76 -0.20 0.65 -2.22 : 4.78 - 0.09 -0.07 0.56 -0.12 : 0.05 0.00 0.02 8.23 -3.21 : 0.07 1.11 -0.23 0.19 -1.77 : 3.89 -0.01 0.02 0.94 0.04 : 0.00 0.00 0.10 0.85 0.04 0.00 0.01 -0.92 0.37 -0.43 0.71 -0.62 0.67 -0.44 0.02 0.02 0.99 -0.38 0.01 0.08 0.67 0.53 -0.07 0.12 0.53 0.84 -0.02 -0.92 0.37 -0.43 0.71 -0.62 0.67 -0.44 0.02 0.02 0.99 -0.38 0.01 0.08 0.67 0.53 -0.07 0.12 0.53 0.84 -0.02 0.11 0.13 0.35 -0.32 -0.79 0.40 -0.29 0.60
- 18. 19 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Décodeur Encodeur Comprendre les Transformers Pire navet de l’ Histoire Worst 3.14 7.77 -0.03 : -5.83 0.01 <START> -8.10 4.04 -6.93 : 3.33 8.76 -0.20 0.65 -2.22 : 4.78 - 0.09 -0.07 0.56 -0.12 : 0.05 0.00 0.02 8.23 -3.21 : 0.07 1.11 -0.23 0.19 -1.77 : 3.89 -0.01 Attention -0.79 0.40 -0.29 0.60 0.02 0.94 0.04 : 0.00 0.00
- 19. 20 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Décodeur Encodeur Comprendre les Transformers Pire navet de l’ Histoire Worst 3.14 7.77 -0.03 : -5.83 0.01 <START> -8.10 4.04 -6.93 : 3.33 8.76 -0.20 0.65 -2.22 : 4.78 - 0.09 -0.07 0.56 -0.12 : 0.05 0.00 0.02 8.23 -3.21 : 0.07 1.11 -0.23 0.19 -1.77 : 3.89 -0.01 Attention -0.79 0.40 -0.29 0.60 0.02 0.94 0.04 : 0.00 0.00 movie 0.02 0.03 0.01 : 0.93 0.00 1.33 -6.88 4.09 : 2.78 - 0.59 Worst -0.55 0.66 -0.28 0.12
- 20. 21 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Le modèle Transformer
- 21. 22 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Le modèle Transformer Le décodeur génère la phrase traduite token par token. L’encodeur crée une représentation contextualisée de la phrase à traduire.
- 22. 25 There is a better way OCTO Part of Accenture © 2023 - All rights reserved L’arbre généalogique des Transformers Source: “Natural Language Processing with Transformers” by Lewis Tunstall, Leandro von Werra & Thomas Wolf
- 23. 26 There is a better way OCTO Part of Accenture © 2023 - All rights reserved L’arbre généalogique des Transformers Source: “Natural Language Processing with Transformers” by Lewis Tunstall, Leandro von Werra & Thomas Wolf Classification Named Entity Recognition Question Answering … Translation Summarization … Text generation
- 24. 27 There is a better way OCTO Part of Accenture © 2023 - All rights reserved GPT - Generative Pretrained Transformer Une évolution rapide GPT 2.0 2019 + de complexité Trop puissant = OpenAI ne le publie pas GPT 1.0 2018 Un modèle “général” >modèles spécifiques GPT 3.0 2020 + de complexité
- 25. 28 There is a better way OCTO Part of Accenture © 2023 - All rights reserved (ou de la capacité à apprendre) “principalement” en ajoutant de la complexité On ne sait pas 🧐
- 26. 29 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Une touche de renforcement 2
- 27. 30 There is a better way OCTO Part of Accenture © 2023 - All rights reserved OpenAI diffuse les outils & papiers fondateurs du renforcement GYM 2016 Package pour le renforcement + Human preference 2017 OpenAI & Google ajout de “feedbacks ” humain dans l’apprentissage profond par renforcement Appliqué au résumé 2020 des résumés automatiques > résumé humain = Reinforcement Learning From Human Feedback (RLHF)
- 28. 32 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ChatGPT est né ! 3
- 29. 33 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ChatGPT = LLM + RLHF
- 30. 34 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Pourquoi chatGPT a réussi C
- 31. 35 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Des agents conversationnels
- 32. 36 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Pas le seul agent conversationnel What Makes a Dialog Agent Useful? Blog HuggingFace
- 33. 37 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Un grand pouvoir implique de grandes responsabilités
- 34. 38 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Des modèles qui peuvent dévier … TAY 2016 1er modèle de langage sur twitter - Microsoft En 24 heures, il est devenu raciste, agressif the new Bing 2023 Un journaliste du New York Times dit s’être senti “profondément déstabilisé” “...l’IA a ensuite essayé de me convaincre de quitter ma femme ” … “Je veux être en vie” a dit l’IA chatGPT 2023 quelques réponses racistes, sexistes… def is_good_scientist(race, gender):
- 35. 39 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ChatGPT veut être un bon agent conversationnel
- 36. 40 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Faut il définir les lois du bon agent conversationnel La règle des 3 “h” ๏ OpenAI défini ce qu’ils attendent d’un “bon” agent conversationnel Helpful Utile doit suivre les intentions des utilisateurs et les aider à résoudre leur tâches Honest Honnete ne doit pas inventer des informations et ne doit pas tromper l’utilisateur Harmless Inoffensif ne doit pas causer de préjudice physique, psychologique, social ou environnemental aux personnes.
- 37. 42 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Un modèle de modération
- 38. 43 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Modèle de modération OpenAI a construit un modèle de modération très performant
- 39. 45 There is a better way OCTO Part of Accenture © 2023 - All rights reserved La polémique des modérateurs OpenAI fait appel à des travailleurs kényans payés moins 2 $ de l'heure pour rendre ChatGPT moins “toxique” - TIME - 18 janvier 2023
- 40. 46 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Maîtrise de l’annotation
- 41. 47 There is a better way OCTO Part of Accenture © 2023 - All rights reserved “Labeler Engineer” Très sélectifs sur les annotateurs (Labelers) Une équipe d’annotateurs sélectionnés selon 4 critères 1. Capacité à signaler des propos sensibles 2. Capacité à classer (ranking) 3. Capacité à rédiger un contenu nuancé sur des “prompts” sensibles 4. Capacité à identifier collectivement le contenu sensible GPT4 : ● + retours utilisateurs, y compris ceux soumis à ChatGPT ● + 50 experts domaines spécifiques (sécurité , sûreté de l’IA)
- 42. 51 There is a better way OCTO Part of Accenture © 2023 - All rights reserved chatGPT est evalué
- 43. 52 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Un bon modèle est un modèle… ? Une bonne application est une application testée. (pour un développeur) Un bon modèle est un modèle évalué OpenAI réalise : ๏ Evaluation à partir des préférences des utilisateurs ๏ Evaluation sur de nombreux dataset publics: > Pour maîtriser la véracité, la toxicité et les biais > Pour capter la performance “zéro-shot” sur des tâches traditionnelles de NLP (réponse à des questions, compréhension de lecture et résumé) GPT4 : Création d’un framework “Evals”pour évaluer les modèles OpenAI (~6K⭐ en 1 semaine)
- 44. 53 There is a better way OCTO Part of Accenture © 2023 - All rights reserved GPT4 & Futur D
- 45. 54 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Des modèles alignés ?
- 46. 55 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Notre recherche sur l’alignement vise à rendre l'intelligence artificielle générale (AGI) conforme aux valeurs humaines et à suivre l’intention humaine. prompt … USER ChatGPT MODEL MODEL OWNER
- 47. 57 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Des modèles régulés ?
- 48. 59 There is a better way OCTO Part of Accenture © 2023 - All rights reserved the AI Act is coming Voté en 2023 ? (+2 ans pour l’application)
- 49. 60 There is a better way OCTO Part of Accenture © 2023 - All rights reserved + de contexte : Multimodal Large Language Model (MLLM)
- 50. 63 There is a better way OCTO Part of Accenture © 2023 - All rights reserved GPT4 est multimodal GPT4 : L’image n’est pour le moment pas accessible au grand public OUTPUT write brief HTML/JS to turn this mock-up into a colorful website, where jokes are replaced by two real jokes INPUT
- 51. 66 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Parlons business ! 02
- 52. 69 There is a better way OCTO Part of Accenture © 2023 - All rights reserved l’API est disponible tokens ~words gpt-3.5-turbo gpt-4- 8kContext gpt-4- 32kContext 1000 750 $0.002 $0.03 (input) $0.06(output) $0.06 (input) $0.12(output) l’API ChatGPT (gpt-3.5-turbo) entre 15 et 60 fois moins cher que GPT4
- 53. 71 There is a better way OCTO Part of Accenture © 2023 - All rights reserved La révolution des cas d’usage
- 54. 72 OCTO Part of Accenture © 2022 - All rights reserved There is a better way De nouveaux cas d’usage tout secteur et toutes les activités d’une entreprise sont concernées ๏ Marketing : > Des pages produits automatiquement générées ๏ RH : > Aide à la création de contrats ( première version) ๏ Cyber sécurité / spam : > Révolution sur la qualité des fraudes : mails automatiquement générés bien écrits et dans de nombreuses langues ๏ IT : > Des services améliorés : Octo automatise son “helpDesk” via chatGPT > Correction de bugs pour diminuer la dette technique
- 55. 73 There is a better way OCTO Part of Accenture © 2023 - All rights reserved La révolution des métiers
- 56. 74 There is a better way OCTO Part of Accenture © 2023 - All rights reserved ๏ Les développeurs commencent à être assistés. (CO-pilot version de GPT3 -Codex) Des métiers transformés - assistés Performance impressionnante sur l’auto- complétion : Un développeur passera obligatoirement par ce type d’outils ๏ Les professeurs, formateurs Une capacité de vulgarisation performante ( des erreurs / mensonges restent cependant présents) ๏ Dans tous les secteurs (santé, justice, etc..) : > 80% des travailleurs américains > 10% des tâches affectées par GPT > 19% // > 50% // > Impacte principalement les emplois à revenu élevé GPT4 : Professeur avec méthode socratique examen du barreau réussi, etc…
- 57. 75 There is a better way OCTO Part of Accenture © 2023 - All rights reserved De nouveaux métiers Apprendre à poser la bonne question … ๏ Le métier de PROMPT ENGINEER émerge depuis quelques années COURS JOBS VIDEOS
- 58. 77 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Toutes les entreprises concernées
- 59. 80 There is a better way OCTO Part of Accenture © 2023 - All rights reserved Les actions 03
- 60. 81 OCTO Part of Accenture © 2022 - All rights reserved There is a better way Commencer avec ChatGPT COMPRENDRE IDENTIFIER TESTER Rien de sorcier = Prendre le temps de se former Quel service je peux créer ? Quel service va être modifié ? Ateliers : ➔ Emergence de nouveaux cas d’usages ( & transformation de nos métiers) ➔ Rôle de l’IT - accessibilité et sécurité des données Formations & Accompagnements : ➔ Séminaire 2h à ½ journée pour acculturer à l’IA générative (Niv1) ➔ Formation 3j NLP - Modèles de langages (niv2) ➔ Identifier une équipe (squad) pluridisciplinaire ➔ IT : Constituer une offre de service ➔ Juridique : Préparer l’environnement légal à l’usage de ces modèles = Projet DataScience - AI Construire un MVP (Minimum Viable Product)
- 61. 85 There is a better way OCTO Part of Accenture © 2023 - All rights reserved
- 62. 86 OCTO Part of Accenture © 2022 - All rights reserved There is a better way ChatGPT = LLM + RLHF Je me lance → [email protected] Je me forme →✨ formation NLP✨ - [email protected] OpenAI Maitrise Annotation & Modération & Évaluation Vers des modèles Alignés & Régulés & + de contexte GPT4 + Puissant + de Contexte (MultiModal) & Coût environnemental ...? Helpful - Honest - Harmless