Nos Systèmes by Fing : "Kit d'auto-évaluation des algorithmes"
1 j'aime•1,140 vues
Le kit d’auto-évaluation des algorithmes vise à examiner l'utilisation éthique et responsable des algorithmes dans les projets, sans se concentrer sur les problèmes techniques. Il inclut des outils comme une interface numérique évolutive et un support papier ludique pour faciliter l'évaluation en groupe. Le projet nécessite encore des réflexions pour approfondir les questionnaires et envisager des moyens d'accompagnement et de suivi des évolutions des algorithmes.
Nos Systèmes by Fing : "Kit d'auto-évaluation des algorithmes"
- 1. Kit d’auto-évaluation des algorithmes Morgane Liger Isis Trupheme Eloîse Ravet
- 2. SOMMAIRE AVANT-PROPOS . L’objectif du projet Phase d’analyse . brainstorming . 2 scEnarios usagers . repenser le questionnaire les projets . une réponse sous forme d’interface numérique . silhouette, la matÉrialisation des risques de l’algorithme conclusion
- 3. L’objectif du projet L’ OBJECTIF DU TOOLKIT Destiné aux porteurs de projet, le kit d’auto- évaluation examine la façon dont est utilisé un algorithme dans le cadre d’un projet. Cette évaluation ne cherche pas à déterminer d’éventuels problèmes techniques liés au fonctionnement de l’algorithme. Il permet de juger si l’utilisation de l’algorithme se fait de manière éthique et responsable. L’OBJECTIF DU WORKSHOP Le but du workshop est de réfléchir sur les formes des toolkits existants et le moyen de les rendre accessible aux acteurs susceptibles d’en avoir besoin. LES OUTILS A DISPOSITION Deux toolkits ont déjà été développés: - le toolkit Ethics & Algorithms Toolkit (Beta) développé aux Etats-Unis sous forme de QCM et de tableaux à double entrée synthétisant les réponses; - les questionnaires Google Forms créés par la FING à l’occasion de workshops précédents. PROBLéMATIQUE Comment rendre tangible les risques éthiques d’un algorithme? Comment travailler l’aspect formel des questionnaires actuels pour en faire des outils simples à appréhender?
- 4. brainstorming Le kit DIAGNOSTIC Conseil MEdias NUMERIQUE papier forme Outil de presentation et de rendu ludique rapide simple detaille et precis interactif evolutif pour qui? Personne seule groupe Start-ups auto-entrepreneurs structure d’aide aux entreprises: pepinieres, couveuses, ... Grandes entreprises ayant des poles de recherche etalab dialogue partage: teambuilding, brainstorming
- 5. 2 SCENARIOS USAGERS Le kit DIAGNOSTIC Conseil MEdias NUMERIQUE papier / objet Outil de presentation et de rendu ludique rapide simple detaille et precis interactif evolutif pour qui? Personne seule groupe Start-ups auto-entrepreneurs structure d’aide aux entreprises: pepinieres, couveuses, ... Grandes entreprises ayant des poles de recherche etalab dialogue partage: teambuilding, brainstorming forme
- 6. DIAGNOSTIC Conseil Médias NUMéRIQUE papier / objet forme Outil de présentation et de rendu ludique rapide simple détaille et précis interactif évolutif pour qui? Personne seule groupe Start-ups auto-entrepreneurs Structure d’aide aux entreprises: pépinières, couveuses, ... Grandes entreprises ayant des pôles de recherche etalab dialogue Partage: teambuilding, brainstorming 2 SCENARIOS USAGERS Le kit
- 9. L’interface numérique est destinée à un utilisateur seul derrière son écran. Il pourra alors tester son algorithme et des conseils lui seront proposés. l’interfaceseraitévolutive,l’image change au fur et à mesure que l’utilisateur répond aux questions, lui permettant d’avoir une vision en temps réel du test. il serait accessible en ligne pour permettre a tous d’ ÉVALUER son projet.
- 10. Chaque point ci-contre est une question à laquelle l’usager va répondre.
- 11. Lorsque l’utilisateur répond aux questions, les couleurs s’appliquent en fonction de la qualité des réponses. La taille des ronds est différente selon l’importance de la question. L’utilisateur pourrait paramétrer ses préférences en fonction de ce qu’il souhaite mettre en avant dans son algorithme. BON MOYEN MAUVAIS
- 13. Une fois le questionnaire terminé, on peut revenir sur le visuel obtenu pour revoir les questions et les réponses que l’on a formulées.
- 15. Les questions se regroupent alors en 3 pôles.
- 18. Un nouveau calcul est fait en fonction des croisements des réponses. L’utilisateur peut alors voir et savoir dans quel pôle l’algorithme est satisfaisant et dans quel pôle il est faible.
- 19. Une fois les 3 pôles créés, ils peuvent à nouveau être divisés en sous- pôles.
- 20. Communiquez-vous sur le fonctionnement de l’algorithme ? Un peu, mais seulement quelques informations sur les calculs et les données de l’algorithme CONSEIL : Vous pourriez dans un premier temps simplement apporter à vos usagers plus d’informations. Pour aller plus loin, vous pourriez les informer de manière plus personnelle, en les rensei- gnant sur les données qui les concernent directement. Dans les sous pôles, on peut retrouver les questions auxquelles l’usager a répondu. Il peut aussi y trouver ses réponses ainsi que des conseils pour améliorer l’algorithme.
- 21. 12 3 4 5 6 7 8 91 0 11 12 13 14 15 Ceci est un cas concret appliqué à l’algorithme de la taxe d’habitation. Nous avons basé ces 15 questions sur le nouveau questionnaire.
- 22. SILHOUETTE Version objet / papier
- 23. La version objet est donc destinée au travail de groupe, comme support à la parole à l’échange. Le but est alors de construire une silhouette de l’algorithme qui, grâce à un jeu d’épaisseur,donnerauneidéedestabilité, d’équilibre à l’ensemble.
- 24. 1- Omar Sosa 2 - Snego 1 2
- 25. Quatre cylindres à empiler, déclinés de différentes couleurs en fonction des pôles du test. Comme les briques d’un jeu de construction, l’intérêt est de venir poser son élément au fur est à mesure pour élever la structure. Leur taille permet d’obtenir une construction d’environ 30 à 40 cm. L’empilement peut donc se faire à plusieurs. La hauteur et la stabilité de l’édifice permet d’évaluer les risques liés à l’algorithme.
- 26. Données Usagers Algorithme 1 couleur par pôle Satisfaisant Très satisfaisant Peu satisfaisant Pas satisfaisant 1 taille par appréciation La taille de la pièce illustre la réponse à la question et sa hauteur montre l’importance du risque.
- 27. Silhouette algorithmique de la taxe d’habitation L’échantillon de données est il représentatif des personnes calculées ? Oui, il considère la population dans son ensemble sans distinction de sous groupes. Avez vous des engagements de réponse envers l’usager ? Oui, nous avons obligation de réponse dans un délai défini. L’algorithme est- il entièrement automatique ? Oui, il analyse les données, effectue les calculs et prend des décisions finales sans intervention de l’homme.
- 28. Première construction : mise en valeur des poids de fragilités et donc des questions à revoir. Deuxième construction : transition des pièces vers le très satisfaisant, . Étape finale : La structure prend de la hauteur et de la stabilité visuelle. Une construction représente une étape dans l’évolution de l’algorithme. L’intérêt est alors de pouvoir garder trace de cette évolution, pouvoir comparer chaque étape. On pourrait alors prendre en photo chaque étape du projet et les comparer, les imprimer sur grand poster pour en garder la trace. Une application parallèle pourrait par exemple être installée. Elle permettrait de comparer mais également de donner des conseils par exemple.
- 29. CONCLUSION Plusieurspointsrestentcependant en suspens : . Approfondir le nouveau questionnaire qui est au stade d’ Ébauche, notamment lorsque les réponses nécessitent d’être recroisées pour obtenir le risque correspondant . Réfléchir a un suivi (une appli?) Pour le jeu de construction qui apporterait la phase d’accompagnement et de conseil. Il pourrait se faire par l’analyse des silhouettes construites (reconnaissance de formes sur le principe du qr code? ) . Prévoir un moyen de sauvegarder les schémas numériques et les constructions du jeu. Ces sauvegardes pourront être comparées a de futurs tests.