Retour en vidéo sur l’édition #MDF2023 !
Conférence "Pourquoi l'IA a besoin d'éthique ?", avec :
- David LACOMBLED, Président Villa Numéris
- Guillaume LEBOUCHER, DG d'Openvalue, coordinateur du pôle Data/IA de Docaposte
- Jérôme BÉRANGER, Principal CEO de GooodAlgo
- Florence D'ALCHÉ-BUC, Auteur et Conférencière, professeure à Télécom Paris
Découvrez toutes les vidéos de cette 8ème édition ici ⬇️
http://l.doca.info/O7PW50P1pke
#Dev #Tech #MasterDevFrance
Conférence "Pourquoi l'IA a besoin d'éthique ?", avec :
- David LACOMBLED, Président Villa Numéris
- Guillaume LEBOUCHER, DG d'Openvalue, coordinateur du pôle Data/IA de Docaposte
- Jérôme BÉRANGER, Principal CEO de GooodAlgo
- Florence D'ALCHÉ-BUC, Auteur et Conférencière, professeure à Télécom Paris
Découvrez toutes les vidéos de cette 8ème édition ici ⬇️
http://l.doca.info/O7PW50P1pke
#Dev #Tech #MasterDevFrance
Category
🤖
TechnologieTranscription
00:00 [SILENCE]
00:09 On va peut-être... Bonjour à toutes et à tous.
00:12 On va peut-être pouvoir commencer, puisqu'on est tous à bord, me semble-t-il.
00:17 Il ne reste pas de place.
00:19 J'espère que vous allez bien, que vous êtes venus sans encombre ce matin.
00:23 Mon nom est David Lacombe-Ledde.
00:26 Je préside un think tank, la Villa Numeris, qui promeut un modèle européen du numérique
00:31 affirmant la primauté de l'humain et qui a la chance d'avoir DocaPost et Open Value pour partenaire.
00:38 Open Value dont le fondateur, Guillaume Leboucher, est ici.
00:43 C'est également le directeur général adjoint de DocaPost en charge du département IA et Data.
00:49 Et il préside aussi une fondation qu'il a créée, la Fondation IA pour l'école.
00:55 Je vais vous dire si nous sommes entre de bonnes mains sur ce sujet.
00:59 J'accueille également Jérôme Barangé, qui est un universitaire, un économiste de la santé,
01:07 expert en éthique.
01:09 Tu as créé Good Algo, qui fournit des solutions d'évaluation éthique, mais tu nous en diras plus.
01:16 Je vous dois aussi d'excuser Florence Dalcher-Buck, qui est professeure à Télécom Paris et qui est souffrante.
01:24 Je lui souhaite, par l'intermédiaire des réseaux sociaux, un prompt rétablissement.
01:30 Cette table ronde organisée avec Gaël Piccard, que je salue et remercie, pose la question de l'éthique.
01:40 Sachant que l'IA, l'intelligence artificielle, est ce que nous en ferons, très clairement.
01:47 On voit bien qu'elle provoque de la fascination, de la sidération, de l'émoi et de l'effroi aussi, parfois.
01:55 Sans doute parce qu'elle reste méconnue.
01:58 Et c'est autant de zones d'ombre qu'il va falloir aller mettre en lumière et éclairer.
02:06 Avec Guillaume, peut-être pour commencer, une question sur ce qu'on entend par l'éthique,
02:13 qui semble un mot que l'on accole assez rapidement à l'intelligence artificielle, comme pour se rassurer en quelque sorte.
02:20 Bonjour à tous, ravi de partager ce moment avec vous.
02:25 C'est assez incroyable parce que vous venez au MDF, certains d'entre vous, pour gagner un concours de code,
02:30 d'autres pour découvrir des nouveaux langages, des nouvelles technologies.
02:35 Et puis vous vous retrouvez à 10h le matin, peut-être après avoir bravé les pavés parisiens sans transport en commun,
02:42 à parler d'éthique, et donc on va parler certainement de philosophie ce matin.
02:46 Pour répondre à la question de David, très simplement, l'éthique c'est quoi ?
02:50 C'est tout simplement la manière de se comporter.
02:52 Ça revient très loin dans les histoires anciennes, dans la philosophie.
02:56 Le premier grand ouvrage connu sur l'éthique, c'est l'éthique à Nicomac d'Aristote, pour ceux qui ont étudié ça.
03:04 J'ai regardé, il est encore sur internet, il se lit et se découvre très bien.
03:09 L'éthique, l'origine, si je prends le terme latin ou grec, c'est "ethos".
03:14 "Ethos" c'est savoir se comporter, et en même temps, savoir se comporter, c'est par rapport à soi-même,
03:19 par rapport à sa conscience, également par rapport aux autres.
03:23 Et quand on parle d'éthique, c'est accepter aussi d'avoir un regard critique sur ce qu'on pose,
03:28 à la fois dans son acte dans la société, et également par rapport à la communauté,
03:34 ce que veut dire la communauté sur son propre travail.
03:37 Vous imaginez bien que quand on parle d'éthique dans les algorithmes ou dans l'IA,
03:41 ça fait résonner beaucoup de choses.
03:43 Ce qui est important de comprendre aujourd'hui, pourquoi on parle beaucoup d'éthique dans l'algorithme,
03:48 et je salue Gaël qui était pas loin, et le thème de la conférence de ce matin est "Pourquoi l'IA a besoin d'éthique ?"
03:55 Le sujet c'est que l'IA n'a besoin de rien, parce que l'IA ce n'est qu'une machine ou des algorithmes.
03:59 Ce sont les hommes et les femmes qui choisissent de faire des développements informatiques,
04:05 et la vraie question c'est le sens qu'il va en donner.
04:07 Quand on prend l'histoire de l'éthique, c'est assez intéressant,
04:10 toutes les écrits philosophiques, je ne vais pas revenir,
04:12 au XXe siècle il y a un grand monsieur qui s'appelait Paul Ricoeur qui a parlé de l'intention éthique,
04:17 et cette intention éthique on va la retrouver dans la bioéthique, vrai sujet depuis l'après-guerre,
04:23 dans la science, et maintenant dans le monde de l'informatique et de l'information.
04:28 Vous ne le savez peut-être pas, mais j'ai découvert ça récemment en menant des travaux de recherche
04:32 sur l'histoire de l'éthique dans l'informatique et des algorithmes.
04:35 En fait tout part de l'après-guerre, après les procès de Nuremberg, par rapport au nazisme,
04:41 où les premiers débats éthiques se sont dit "mais comment pendant la guerre,
04:44 les atrocités perpétuées par la science, par les nazis,
04:48 comment on pourra mettre certaines frontières et certaines lois ?".
04:51 La vraie question c'était effectivement de dire comment on va créer des codes.
04:54 Il y a pas mal de codes qui ont été portés par l'ONU, pas mal de conventions internationales.
04:58 En France, on a la chance d'avoir beaucoup d'experts,
05:02 un magnifique comité qui s'appelle le Comité National d'Ethique et de Numérique.
05:07 C'est ça qui, aujourd'hui, permet de réfléchir.
05:10 Souvent on nous dit "l'éthique, chacun fait un peu ce qu'il veut".
05:12 D'un côté c'est complètement vrai, de l'autre, il faut aussi se renseigner sur les pratiques
05:17 qui ont lieu dans le monde du numérique depuis une cinquantaine d'années.
05:20 Merci Guillaume. Je sens qu'il va y avoir bataille de philosophes,
05:23 parce que Jérôme, toi tu en appelles à René Descartes, avec une approche logique de l'éthique.
05:31 C'est pas incompatible ?
05:33 Non, non, c'est tout à fait... Bonjour tout le monde, tout d'abord.
05:37 Moi je suis tout à fait d'accord avec mon voisin.
05:41 Juste que ma vision de l'éthique, c'est une vision qui est beaucoup plus, peut-être,
05:45 appliquée et applicable et pragmatique.
05:48 C'est-à-dire que c'est une branche de la philosophie ou des sciences humaines et sociales,
05:51 mais je considère l'éthique plutôt comme donner du sens à des actions.
05:55 C'est-à-dire que le but c'est qu'il y a des dilemmes et des problématiques éthiques
05:59 suivant les situations.
06:01 Et l'idée en fait c'est de trouver un compromis, un juste milieu,
06:04 qui correspond en fait à quelque chose dont on tend vers le bien-être
06:08 ou le bien fondé d'une action par rapport à un maximum de personnes.
06:12 Un comité d'éthique c'est pluridisciplinaire, c'est une pensée en mouvance transversale,
06:18 pluridisciplinaire, et c'est toute la richesse de cette discipline,
06:23 et la difficulté aussi.
06:25 Là où on reprend les termes de Socrate, il n'y a pas une vérité mais des vérités.
06:30 Ce qui est vrai aujourd'hui n'est pas forcément vrai demain ou hier.
06:34 L'éthique en France n'est pas la même qu'aux États-Unis, en Chine, au Japon,
06:39 ou même en Europe, dans certains pays, parce que l'éthique s'est influencée,
06:45 impactée par du contexte géopolitique, religieux aussi,
06:50 les mœurs, les conflits, les comportements d'un point de vue économique.
06:55 Et c'est là où en fait, qui diffère par rapport peut-être au droit
06:59 qui met un peu plus de temps à légiférer et qui soit chronophage,
07:02 c'est aussi une régulation, mais c'est une régulation dans le temps qui est flexible.
07:06 C'est toute la richesse de l'éthique, souvent le droit s'alimente justement
07:10 par les réflexions et les pensées éthiques pour faire évoluer leur cadre réglementaire.
07:15 Alors ce qui est important, moi j'aime bien dire que l'éthique finalement,
07:19 c'est une boîte à outils comme une boussole.
07:22 Une boussole avec les quatre points cardinaux qui donne un sens, une orientation.
07:27 J'aime le mot sens parce que le sens finalement d'un point de vue étymologiquement parlant,
07:31 il y a trois significations, c'est le sens, les cinq sens de l'être humain finalement,
07:36 et on voit que les différents principes éthiques, les valeurs humaines qui sont associées à l'éthique,
07:40 finalement on les retrouve aussi dans tout ce qui est associé à ce que fait l'être humain
07:46 et ce qu'il est en tant que personne, en tant qu'espèce humaine,
07:50 et qui nous différencie justement des machines.
07:53 Et c'est ça qui est aussi important.
07:55 Et c'est aussi le sens des mots.
07:58 Et c'est ça qui a toute cette signification, la signification et le sens,
08:02 le chemin que vous allez prendre, l'orientation.
08:05 Vous voyez bien toute la symbolique autour de ça.
08:08 Donc si vous voulez, il y a quatre principes éthiques qui sont assez fondateurs,
08:14 qui sont universels, qui ont été constitués pour la première fois en 2001 par Beauchamp & Children's,
08:21 qui sont le principe de bienfaisance, de non-malfaisance, justice,
08:25 et tout ce qui est aussi d'autonomie.
08:30 C'est un peu ces quatre points cardinaux,
08:33 et comme l'a très bien dit mon voisin,
08:36 c'est, si vous voulez, qu'on est vraiment...
08:40 Il y a un socle commun, mais après, à chacun d'avoir sa propre éthique,
08:44 mais avec des principes qui sont universels.
08:47 Ça, c'est important.
08:49 Guillaume, comment on partage ces principes dans une organisation sociale ou une entreprise ?
08:56 Alors déjà, vous voyez que ça démarre très fort.
08:58 On a des principes de Paul Ricoeur, d'Aristote, de Socrate.
09:03 Alors justement, comment passer à un petit peu finalement des grands socles au commun de savoir humain ?
09:08 Et je suis complètement aligné, sur ce qu'a dit Jérôme, sur les quatre grands principes de l'éthique.
09:13 Et si on essaie de se situer dans le temps à partir de 2000,
09:16 à partir de quand les entreprises se sont posées la question de l'éthique ?
09:19 Donc c'est vraiment dans les années 2000, à partir de ces quatre principes.
09:23 Et je dirais qu'il y a plusieurs choses.
09:26 La première, c'est bien entendu sur la réflexion de l'éthique dans les algorithmes.
09:29 Ce qu'on appelle l'éthique algorithmique.
09:31 Et moi, c'est un sujet, donc c'est ce sujet qui m'anime le plus.
09:34 La vraie question, d'abord, c'est la question, comme l'a dit Jérôme, c'est la question du sens.
09:38 Après, c'est comment la faire vivre en communauté, se faire challenger, accepter de la critiquer.
09:44 Mais plus exactement, c'est comment créer des référentiels.
09:46 C'est tout le débat aujourd'hui.
09:48 Jérôme a cité les quatre principes qui ont été énormément repris par les comités américaines.
09:52 Aujourd'hui, le Canada est un pays extrêmement avancé sur ça.
09:55 Mais la vraie question, et c'est nous ce qu'on essaye de faire chez DocaPost.
09:58 Vous savez que DocaPost, c'est l'application de la confiance numérique.
10:01 Et dans la confiance numérique, on porte ce qu'on appelle de l'IA de confiance.
10:04 C'est pour moi deux principes fondateurs qui sont le premier, l'explicabilité et la traçabilité.
10:12 Si on vous parle avec Jérôme et David de philosophie, c'est que moi, je pense que dans le numérique aujourd'hui,
10:16 plus il y aura de numérique, plus il y aura des besoins de philosophie, plus il y aura des besoins de faire cette éthique.
10:23 Et les sous-jacents d'arriver à mettre ça dans la relation, c'est deux questions qu'il faut se poser.
10:27 Comment j'explique ce que je fais ? D'abord dans mon intention, mon intention de créer quelque chose.
10:33 C'est un exemple que je donne souvent et je salue certains étudiants de l'école de la Data et de l'IA qui sont ici présents.
10:39 Aujourd'hui, quand on a un clavier informatique entre les mains,
10:42 quand on décide de travailler avec tous les algorithmes au point de vue du monde entier,
10:46 est-ce qu'à la fin de ma journée, je vais créer un algorithme qui va permettre de réduire la famine dans le monde
10:53 ou malheureusement de créer des robots tueurs qui vont faire beaucoup de dégâts ?
10:57 C'est d'abord l'explicabilité de l'intention au départ.
11:00 Après l'intention, arrive la deuxième caractéristique de l'explicabilité, c'est justement la critique de l'action.
11:07 Comment aujourd'hui, quand je suis développeur, je peux justifier en amont de mon intention, je viens d'en parler,
11:12 mais comment dans la façon de développer, je vais pouvoir expliquer ce que je fais ?
11:16 Ça veut dire que bien entendu, c'est la parfaite explication des descriptions du code que je produis.
11:26 C'est quelque chose qu'on doit justifier.
11:28 Moi, ça tombe bien parce que j'ai toujours poussé mes développeurs à documenter leurs codes,
11:33 mais je crois qu'avec l'éthique, on a encore besoin de documenter.
11:36 Pour les jeunes de l'école de la Data, documentez bien votre code, ça je vous remercie, on sera très vigilants là-dessus.
11:40 Ça peut rendre service.
11:43 Et puis, après, une fois qu'on a fait ces deux étapes d'explicabilité, le deuxième vrai chemin, c'est d'opérer la traçabilité.
11:51 Et cette traçabilité, je vais la relier à ce que j'ai énoncé tout à l'heure sur la capacité de critiquer son travail.
11:56 Aujourd'hui, un développeur informatique qui n'est pas capable de dire ses intentions,
12:00 qui n'est pas capable de l'expliquer et qui n'est pas capable d'écrire cette traçabilité,
12:04 quelque part pour moi, il est un petit peu au long de l'éthique.
12:06 Peut-être que son intention n'est pas de créer des algorithmes contre le bien commun.
12:12 Néanmoins, c'est ce qu'on essaye de pousser dans la charte éthique du groupe La Poste,
12:16 de dire qu'aujourd'hui, tout est une question de traçabilité.
12:18 Il faut savoir justifier les actions qu'on fait.
12:21 Alors Jérôme, d'écrire, expliquer, toi tu nous dis, en plus on peut le visualiser,
12:27 et c'est d'ailleurs tout l'objet de l'entreprise que tu as créé, Goodalgo, que de développer des tableaux de bord.
12:35 Est-ce que c'est aussi simple que ça ?
12:38 Non, non, comme je vous ai dit, en fait, c'est assez complexe.
12:41 Déjà, il faut remettre d'un point de vue historique, la discipline de l'éthique appliquée au digital,
12:47 il faut savoir que c'est une discipline qui est assez récente,
12:49 qui a, quand j'ai effectué ma thèse doctorale à l'Université de médecine de Marseille, à l'époque,
12:55 c'était en 2009-2012, associer ces deux disciplines,
12:59 donc les sciences humaines et sociales et la technologie, on va dire, les sciences dures,
13:04 c'était totalement antinomique. Pourquoi ? Parce que les siècles des lumières y passaient par là,
13:08 parce qu'ils cloisonnaient les choses avec l'encyclopédie, parce qu'il fallait se spécialiser dans une discipline,
13:13 et en fait, là où la société a mis des murs, finalement, nous on a essayé de mettre des ponts et des passerelles,
13:20 parce que le numérique, à l'instar de l'éthique, c'est transversal, ça impacte toutes les sphères de la société,
13:27 mais aussi de l'entreprise, des usages, des conceptions, et donc du coup, il faut faire cette passerelle-là, c'est important.
13:33 Et moi, ce qui m'a animé depuis toujours, c'est de rendre l'éthique appliquée et applicable,
13:38 et pour cela, j'avais repris un peu une autre citation, finalement, de Léonard de Vinci,
13:43 qui disait "il faut faire pour penser, et penser pour faire", et l'idée, c'était de dire,
13:47 il faut peut-être numériser pour moraliser, et moraliser pour numériser, et en fait, l'idée, c'est ça,
13:55 c'est-à-dire que quand on prend un projet digital, on le voit qu'un projet numérique, c'est pas uniquement de la data,
14:01 c'est-à-dire que ça alimente par les données les algorithmes, mais la data, si elle n'est pas exploitée par des algorithmes,
14:07 un système algorithmique, ça ne sert pas à grand-chose, et un algorithme, c'est un moteur comme dans la voiture,
14:12 si ce n'est pas alimenté par de l'essence ou par de la data, ça ne sert pas à grand-chose non plus.
14:16 Et ce qui est très important, quand on essaye d'importer de l'éthique au sein d'un projet numérique,
14:22 pour un concepteur ou un développeur, il faut avoir une vision totalement, pas en silo, mais transversale,
14:27 c'est-à-dire qu'il faut poser des questions à la fois autour des questions sur la data,
14:32 si comment elle est intégrée, de qualité, comment elle est sélectionnée, sa source,
14:37 parce qu'au bout d'un moment, on ne sait même plus le sourcing d'où ça vient, au niveau des cohortes,
14:41 en termes de qualité, ça c'est une chose, est-ce qu'elle est accessible ou pas.
14:45 Après, il faut poser des questions, ce que j'appelle, c'est un deuxième niveau d'éthique, l'éthique de l'algorithme.
14:50 Là, c'est toutes les questions autour de l'algorithme en tant que tel, est-ce qu'il est robuste, interprétable, fiable,
14:55 est-ce qu'il a des biais de cognition, des biais statistiques, etc.
15:01 Ça, c'est un troisième niveau. Il y a un quatrième niveau, c'est l'éthique des systèmes.
15:06 Les systèmes, c'est quoi ? C'est les interfaces en machine.
15:09 Est-ce qu'il est ergonomique ? Est-ce qu'il est performant ? Est-ce qu'il est adaptable à l'utilisateur ?
15:14 Ça, c'est des questions qu'il faut se poser. Il y a aussi l'éthique de l'environnement,
15:18 l'environnement contextuel, parce qu'en fait, surtout quand c'est de l'IA,
15:22 parce que l'IA, moi je le considère un peu, disons peut-être un peu néo-darwinienne,
15:26 c'est comme un organisme vivant, auto-apprenant, qui interagit de plus en plus avec son environnement,
15:31 son infosphère, on va dire, et donc du coup, les biais qui peuvent être mineurs au début,
15:36 peuvent être majeurs ou être modifiés au fur et à mesure.
15:39 Et ce qui est important, et je rejoins tout à fait Guillaume, c'est l'esprit de le faire évoluer,
15:44 de suivre dans le temps. Pourquoi ? Parce que quand c'était un système d'information qui était un peu figé,
15:50 finalement, ça ne pose pas trop de problèmes, il n'était pas trop sensible à l'impact de l'alimentation
15:57 des datas nouvelles qu'on va lui apporter. Mais là, on voit bien que ce monde est de plus en plus data-fiqué,
16:02 en termes de notation, et donc du coup, l'IA va être évolutive et complexe de plus en plus.
16:09 Et donc ce qui est important, c'est qu'on parle souvent, nous, en éthicien, de l'ethics by design,
16:14 c'est-à-dire dès la conception d'un projet digital, il faut l'incorporer, Guillaume l'a très bien dit,
16:19 tout ce qui était des préconisations et des recommandations éthiques dès la conception d'un projet.
16:25 Un projet, pour être conçu, il faut qu'il soit pluridisciplinaire, avec des tiers de partie,
16:30 des développeurs, mais aussi des corps de métier, des futurs utilisateurs aussi,
16:34 pour répondre aux attentes et aux exigences des personnes qui vont l'utiliser,
16:38 professionnels et non professionnels de la société, ça c'est important.
16:42 Mais au-delà de ça, il faut se projeter pour de l'IA, c'est ce que moi j'appelle la notion d'ethics by evolution,
16:48 c'est-à-dire dans le temps, dès la conception, mise en place, usage et suivi d'un projet digital,
16:54 il faut lui incorporer un encadrement, une régulation éthique qui évolue dans le temps aussi.
17:01 Dernier point, j'ai parlé d'éthique de l'environnement, donc contextuel, ça peut être écologique, environnement durable,
17:08 mais aussi religieux, social, économique, politique, parce que tel ou tel projet digital d'IA ou non-IA,
17:17 en plein Covid, avant, après, en pleine guerre ukrainienne ou pas, ça n'a pas le même impact.
17:23 Donc ça c'est aussi à prendre en compte, comment vous le faites évoluer.
17:26 Et il y a trois autres familles d'éthique qui peuvent être aussi à interpréter,
17:30 aussi à développer en analyse d'un projet digital, qu'il soit éthique ou pas,
17:34 c'est autour des décisions et des pratiques et de la condition humaine.
17:39 On prend le phénomène un peu de chat GPT pour de l'IA générative en termes de texte,
17:43 se pose la question d'un point de vue sociétal, de la condition humaine,
17:47 en quoi ça va impacter le comportement, les métiers, l'éducation de la société d'avoir un tel outil.
17:55 Pour moi, c'est une version 2 ou 3.0 de la calculatrice qu'on intègre à l'école.
18:01 On apprend toujours à l'école, dans les petites classes primaires,
18:05 comment on fait ces règles de multiplication, les divisions, etc.
18:09 Mais ce n'est pas pour le faire toute sa vie, c'est juste pour exercer son cerveau
18:14 à la logique mathématique de la gymnastique.
18:17 Mais dès le collège, moi j'ai mes neveux et nièces qui sont maintenant en collège ou en lycée,
18:23 c'est la calculatrice et c'est tout à fait normal.
18:26 Juste pour finir, je dirais, quand j'interviens dans les écoles,
18:31 ne refusez pas la pratique de chat GPT ou de ce qui va arriver,
18:37 parce que ça va être quelque chose qui va te cogner.
18:39 Il vaut mieux prendre du temps pour savoir bien l'utiliser,
18:42 avec les limites et les atouts, les apports,
18:46 après garder enregistrement ça.
18:49 Mais je veux dire, il faut faire évoluer aussi le système d'éducation
18:51 et l'éthique est là aussi pour faire évoluer les choses.
18:55 Il y aura interrogation à la fin, soyez rassurés.
18:59 Plus sérieusement, d'ailleurs, vous pouvez poser des questions, bien sûr.
19:02 Je vous propose une méthode qui a fait ses preuves.
19:04 Vous levez le doigt, on vous donne un micro et vous posez la question.
19:06 N'hésitez pas et faites-le assez tôt dans le débat,
19:09 parce que le temps nous sera compté.
19:12 Qui parmi vous a déjà utilisé au moins une fois chat GPT ?
19:16 On est au-delà de la moitié.
19:20 Effectivement, on est dans une IA qui rentre dans l'atmosphère,
19:25 en quelque sorte, et dont on voit bien qu'elle pourrait désormais vite se démocratiser,
19:31 avec une certaine forme d'émoi face à des IA,
19:36 dont on voit bien qu'elles peuvent répondre parfois plus rapidement que soi-même,
19:40 ou avoir une connaissance plus longue.
19:43 Comment on adapte, on forme les êtres pour utiliser ces IA demain, Guillaume ?
19:50 On a commencé par la philosophie et Jérôme nous propose la gymnastique,
19:54 donc effectivement, devenant concret.
19:56 On a installé un mur d'escalade derrière, pour ceux qui veulent aussi.
20:00 Je crois que maintenant, il faut être concret.
20:02 Jérôme et moi-même, on a essayé de poser des grands principes sur l'explégalité, la traçabilité, l'auditabilité.
20:10 Être concret, c'est relire déjà ce qui se passe depuis une dizaine d'années.
20:13 On parle de l'IA ce matin, de l'éthique.
20:16 Je vais vous donner quelques exemples, à la fois dans le monde,
20:20 c'est-à-dire les sociétés, dans les entreprises et pour les individus.
20:23 Si vous regardez la campagne de 2016, remportée par Donald Trump aux Etats-Unis,
20:30 on sait que les data scientistes de l'équipe de Donald Trump ont conseillé Donald Trump
20:35 pour adapter les contenus, pour désinguer son opposante, qui était Hillary Clinton.
20:41 C'est des choses parce que, en fait, très simplement,
20:44 les data scientistes de l'équipe de campagne du Candidat républicain ont vu les tendances
20:49 et donc ont utilisé les algorithmes.
20:51 Nous avons entendu aussi parler d'un scandale qui était retentissant
20:54 et qui est monté jusqu'à la Chambre des représentants et au Congrès américain,
20:57 le scandale Cambridge Analytica.
20:59 C'est déjà pour vous dire qu'effectivement, l'IA et l'éthique, c'est un vrai sujet,
21:02 deux sociétés, deux démocraties, très importants.
21:05 Si on parle des entreprises, alors là, on ne va pas en rigoler,
21:08 mais quand même, vous savez qu'aujourd'hui, on parle de l'IA, il y a trois définitions.
21:12 L'IA faible, c'est l'IA qui assiste, l'IA forte, l'IA qui décide.
21:14 Et la super-IA, l'IA qui a sa conscience.
21:17 La super-IA n'existe pas encore, mais quand on se met à parler de l'IA forte,
21:20 on peut commencer à parler de la voiture autonome.
21:23 Vous connaissez les Tesla, les voitures chinoises, les voitures américaines,
21:26 la Wemo, la filiale de Google.
21:28 Il y a un cas d'école qu'on enseigne quand on fait de l'éthique algorithmique,
21:32 c'est à quel moment une IA qui doit décider de faire freiner une voiture
21:37 va faire face elle-même à des sujets d'éthique.
21:40 Le meilleur exemple que certains m'ont déjà entendu donner,
21:44 c'est l'exemple de la voiture autonome qui doit malheureusement stopper
21:48 sur un passage piéton.
21:50 Et sur le passage piéton, vous allez trouver à la fois une mère avec un landau,
21:54 et un bébé dans le landau.
21:56 Et on va dire, un petit vieux ou une petite vieille, excusez-moi du terme,
22:00 la question c'est, qu'est-ce qu'ont prévu les développeurs au niveau éthique ?
22:04 La voiture doit s'arrêter, et malheureusement, on n'a pas le choix
22:07 que de percuter un des deux intervenants.
22:10 La réponse, alors bonne nouvelle pour la maman et le landau,
22:13 mauvaise nouvelle pour le petit-vieux et la petite-veille,
22:16 c'est que les développeurs ont décidé qu'en priorité seront percutées
22:19 la personne la plus âgée.
22:21 Donc c'est pour ça, ceux qui se teintent les cheveux en blanc, faites attention.
22:25 Ça peut être délicat.
22:29 Mais voilà un exemple d'éthique en entreprise concrète.
22:32 Et le troisième sujet pour moi, c'est, pour bien comprendre l'éthique
22:36 aujourd'hui, comme c'est important, et c'est d'ailleurs un des combats
22:39 que je porte dans ma fondation dans l'éducation.
22:42 Vous savez que quand on parle aujourd'hui du monde des réseaux sociaux,
22:45 on parle de ce qu'on appelle l'économie de l'attention.
22:48 Comment les algorithmes aujourd'hui, dans cette IA faible,
22:51 assistent au quotidien ?
22:53 Alors quand l'IA m'assiste pour optimiser mon temps de trajet,
22:57 pour me rendre un rendez-vous, c'est plutôt une bonne nouvelle,
22:59 surtout en temps de grève.
23:01 Néanmoins, on se rend compte que depuis dix ans, les réseaux sociaux
23:04 et cette économie de l'attention ont créé beaucoup d'addictions.
23:08 Je ne vais citer aucune société ni américaine ni chinoise,
23:11 mais vous n'avez qu'à lire la presse aujourd'hui.
23:13 Tout ce qui se passe aujourd'hui à travers certains réseaux sociaux,
23:17 qu'on change les noms américains ou d'autres qui sont un peu plus asiatiques,
23:21 on est vraiment au cœur du débat éthique.
23:24 Est-il éthique qu'un algorithme puisse décerner en moins de dix secondes
23:28 le genre sexuel d'une personne ?
23:30 Est-il éthique que dans certains pays, les algorithmes savent mesurer
23:34 l'attention d'une personne face à un écran ?
23:37 Voilà des exemples concrets.
23:39 Si je parle d'éducation, c'est un exemple qui existe malheureusement.
23:43 La Chine est un pays qui a extrêmement progressé en intelligence sociale
23:46 depuis dix ans et ils en ont mis partout, les algorithmes.
23:49 Y compris pour mesurer l'attention des élèves dans les classes,
23:52 ils ont mis des caméras, un peu comme les camarades qui sont là,
23:55 mais qui savent mesurer par rapport à la gestuelle du visage
23:58 de chaque individu, au mimique,
24:00 ils savent mesurer ou pas si un enfant écoute ou pas.
24:03 Et qu'est-ce qui fait ça derrière ?
24:04 Qu'est-ce qui fait cette manipulation, cette collecte et cette tridonnée ?
24:07 Ce sont les algorithmes.
24:08 Donc voilà trois exemples concrets.
24:09 J'ai parlé politique, démocratie, j'ai parlé la voiture autonome
24:13 et cette partie grand public qui interroge énormément.
24:17 Voilà, donc chacun peut relier avec ce qu'on a dit avec Jérôme,
24:20 c'est-à-dire quelle est l'intention,
24:22 quelle est la question de la traçabilité, de l'explicabilité
24:25 et puis les quatre principes que tu as cités tout à l'heure.
24:29 Jérôme, on a un peu de recul désormais sur nos concitoyens,
24:34 sur leur manière de se comporter avec des outils numériques,
24:38 de se comporter dans l'espace public, ne serait-ce qu'avec les réseaux sociaux.
24:42 Est-ce qu'on peut dire qu'ils sont mûrs pour affronter les prochaines étapes,
24:48 dont celle de l'utilisation des intelligences artificielles
24:51 de manière plus massive encore, même s'ils le font déjà d'ailleurs,
24:54 sans forcément le savoir aujourd'hui ?
24:56 Absolument pas.
24:58 Enfin, sans dédramatiser, mais en fait ce qu'il faut savoir,
25:01 c'est pourquoi il a fallu presque 20 ans pour que la tendance de dire
25:06 qu'il faut mettre de l'éthique maintenant,
25:08 un peu comme l'environnement durable il y a quelques années dans les entreprises,
25:12 il y a une prise de conscience qui a été faite, mais avec 20 ans de retard.
25:16 Parce que c'est tant que l'usage, moi je crois beaucoup à la valeur d'usage de la technologie,
25:21 parce que finalement tant qu'une technologie, on parle de la blockchain, etc.,
25:24 de concept et tout, mais tant que ça n'impacte pas le quotidien d'une personne,
25:28 d'un professionnel de santé, pour la médecine ou pour ailleurs,
25:32 finalement on ne le prend pas au sérieux, on se dit "ça ne nous impacte pas"
25:37 et on ne regarde pas, on ne se projette pas dans le temps
25:40 en réfléchissant aux répercussions, à l'impact que ça peut avoir
25:43 pour soi, pour son métier ou pour la société dans l'ensemble.
25:46 Et en fait l'esprit du principe de précaution c'est ça,
25:50 c'est se dire "pourquoi vous voulez réfléchir aux enjeux, aux risques éthiques
25:55 si vous ne pouvez même pas vous projeter sur les conséquences que ça peut avoir
25:59 parce que finalement ça ne vous impacte pas dans votre quotidien ?
26:02 C'est tout à fait naturel de raisonner comme ça.
26:04 Je vous donne un exemple, moi je suis originaire plutôt en ce moment à Toulouse,
26:08 donc c'est plutôt l'aérospatial et l'aéronautique.
26:10 Je peux vous faire la même chose, pas avec la voiture autonome,
26:13 mais avec l'avion autonome.
26:15 C'est quelque chose qui peut faire peur, parce qu'il y en a qui n'aiment pas du tout
26:18 voyager en avion, parce que c'est le mythe d'Icare, je ne sais pas,
26:21 alors que c'est presque le transport le moins risqué au monde.
26:25 Donc ça il faut prendre en conséquence.
26:28 J'ai un de mes neveux qui vient d'avoir, il y a un an, son pilote de brevet d'avion.
26:33 Et il me disait "mais Jérôme", donc ils font beaucoup de simulations en essais réels,
26:41 et il me disait "mais Jérôme, tu sais que moi j'ai appris sur une simulation
26:47 où en fait c'est l'avion qui à 95% est autonome du démarrage à l'atterrissage du trajet".
26:56 Et c'est tout à fait normal en fait, parce que c'est très facile,
27:00 la voiture autonome sur l'autoroute peut-être qu'on la verra,
27:03 et qu'elle sera performante et ça fonctionnera.
27:06 La voiture autonome en ville avec tous les paramètres totalement inappropriés
27:11 ou qu'on ne peut pas réfléchir ou on ne peut pas y penser,
27:14 je pense que ça va être très très compliqué.
27:16 Je ne dis pas que ce sera impossible, mais ça va être assez...
27:19 parce qu'on ne peut pas, toujours l'esprit de l'environnement,
27:22 on ne peut pas anticiper et encadrer tout l'environnement possible et imaginable
27:28 pour réfléchir à comment la voiture ou le moyen de transport va réagir pour telle ou telle situation.
27:34 L'avion, le cadre environnemental est totalement facile à maîtriser,
27:39 finalement on peut vite paramétrer.
27:42 Et pourquoi je vous dis ça ? Parce que c'est la simulation, c'est la machine à 95%
27:46 et on lui apprend juste à dire "la machine a le bug"
27:49 et vous reprenez la main en tant que pilote pour faire en sorte que l'avion arrive à bon port
27:55 ou régler la situation.
27:57 Il y a encore un an et demi, deux ans, c'était l'inverse.
28:00 La simulation faisait que c'était la machine qui reprenait la main sur le pilote.
28:05 Donc on a déjà, vous voyez bien, on a déjà modifié finalement le rôle
28:09 ou les missions de tel ou tel acteur.
28:11 Alors, on parlait de...
28:13 Il est clair que demain si on prend un avion et qu'il n'y a pas de pilote à bord,
28:17 le sentiment de sécurité ne sera pas le même, quoi qu'il arrive,
28:23 et quel que soit le niveau de sécurité.
28:25 Et donc il y a un facteur rassurant d'avoir des humains
28:27 et sans recours humain, effectivement il y a un rejet de la technologie.
28:31 Mais je pense que c'est plutôt rassurant d'un point de vue de son inconscient.
28:35 C'est-à-dire qu'on prend un exemple, à la base je suis originaire vraiment de Lyon.
28:40 À Lyon, il y a plus de 40 ans, on a eu les premiers métros automatiques sans chauffeur.
28:45 Ça a posé zéro problème en termes de fantasme, de psychologie ou de drame,
28:50 parce que finalement c'est un endroit clos, un tube, etc.
28:53 Ça ne fait pas trop peur.
28:54 Et puis là-dessus, vous vous disiez, finalement c'était dans la suite logique des choses.
29:01 Mais vous prenez d'autres exemples, vous vous dites, je ne sais pas,
29:05 si vous vous prenez en compte le fait que les nouvelles technologies avancent et évoluent,
29:10 c'est dans le sens de l'histoire.
29:12 Finalement, quand vous voyez par rapport aux différentes révolutions industrielles,
29:16 il y a toujours un changement de paradigme et de comportement,
29:19 de droit qui apparaît, d'éthique aussi au fur et à mesure.
29:22 Et en fait, c'est ça qu'il faut prendre conscience de ça.
29:26 En termes de formation, d'un point de vue pragmatique,
29:29 ce qui est important, je pense, en prise de conscience,
29:31 nous c'est ce qu'on essaye de faire, moi avec ma société Goodalgo en tout cas,
29:35 c'est de développer pour les professionnels, mais aussi pour les citoyens.
29:39 Et donc, du coup, nous on propose aux entreprises des vraies solutions.
29:45 D'ailleurs, j'ai développé le premier référentiel autour de l'éthique du numérique
29:49 pour justement que ça soit appuyé sur un label.
29:52 Une labellisation qui permet de donner du sens, de la confiance, de la transparence
29:56 et donc de la sécurité vis-à-vis de la société ou des potentiels clients.
30:00 Parce que finalement, moi je l'avais fait dans le domaine de la médecine,
30:03 parce que la donnée personnelle est sensible encore plus quand c'est l'intégrité de la personne.
30:08 Et donc, elle a du poids.
30:10 Et donc, moi je me disais tout simplement, comment on peut faire confiance à cette médecine
30:14 de plus en plus numérisée si on ne peut pas évaluer l'impact et le comportement éthique,
30:20 finalement, avec des valeurs humaines autour de ça.
30:23 Ça peut être aussi des formations.
30:28 Vous avez une question ?
30:30 Et puis après, on en parlera sur les entreprises et la manière dont elles prennent en main les choses.
30:36 En fait, je me permets de vous arrêter parce que je pense que toute la discussion qu'on est en train d'avoir,
30:41 elle tourne autour de plutôt comment est-ce que la société peut faire de l'éthique autour de l'IA.
30:46 Je ne pense pas tant, comment est-ce que l'IA elle-même est-elle éthique ?
30:51 Moi, par exemple, une question toute bête que je me poserai,
30:57 est-ce qu'on a posé cette question, par exemple, tout simplement à Tchad GPT ?
31:02 Est-ce que si je posais la question à Tchad GPT, pourquoi l'IA a-t-elle besoin d'éthique ?
31:07 Est-ce que vous êtes allé chercher cette réponse-là ?
31:11 Est-ce que vous l'avez fait vous-même ?
31:13 Non, pas encore.
31:14 Moi, je crois qu'il y a deux choses.
31:17 La vraie question, c'est, moi je considère que Tchad GPT est un outil d'aide.
31:24 Donc, il n'y a pas de sens à demander une machine, c'est à cause d'une éthique,
31:27 parce qu'on n'est pas dans une IA qui pense, donc quelque part,
31:30 et Jérôme l'a très bien dit, mais dans Tchad GPT, il y a des choses extraordinaires sur l'innovation technologique,
31:36 et comme l'a dit David, c'est une très belle démocratisation de l'IA.
31:40 Moi, ça fait 7 ans que je travaille sur ce qu'on appelle l'économie des transformeurs,
31:44 le T de GPT, ce qu'on appelle des rôles mondiaux.
31:49 Moi, je suis absolument impressionné que le monde entier ait adopté Tchad GPT.
31:54 C'est extraordinaire, moi je m'amuse, ça aide mon métier.
31:57 Mais quand on voit tous les biais qui sont transportés par Tchad GPT,
32:00 et qui ne sont pas du tout critiqués, c'est assez incroyable.
32:04 Deuxième chose, pour répondre un peu à votre question, au début de votre intervention,
32:08 ce qu'il va falloir regarder, c'est le règlement européen, l'IA Act.
32:12 Moi, je l'ai dit, dès qu'en novembre, publiquement, en novembre de l'année dernière,
32:18 tout le monde s'amuse à tester les serveurs gratuits de Tchad GPT,
32:22 mais on verra ce que diront les CNIL, notamment la CNIL française,
32:27 et le futur règlement européen qui a pour ambition de "fédérer" les CNIL des pays.
32:33 On verra, le match est tout à fait ouvert,
32:35 et je crois que ce qu'il faut regarder, c'est la potentialité technologique
32:38 que ça apporte dans les cas d'usage d'entreprise.
32:41 Et effectivement, comme vous l'avez dit, sur l'éthique,
32:43 la question ce n'est pas de demander à une machine si elle prend de l'éthique,
32:45 mais on va voir si elle prend de l'éthique,
32:47 et on va voir si elle prend de l'éthique,
32:49 et on va voir si elle prend de l'éthique,
32:51 et on va voir si elle prend de l'éthique,
32:53 et on va voir si elle prend de l'éthique,
32:55 et on va voir si elle prend de l'éthique,
32:57 et on va voir si elle prend de l'éthique,
32:59 et on va voir si elle prend de l'éthique,
33:01 et on va voir si elle prend de l'éthique,
33:03 et on va voir si elle prend de l'éthique,
33:05 et on va voir si elle prend de l'éthique,
33:07 et on va voir si elle prend de l'éthique,
33:09 et on va voir si elle prend de l'éthique,
33:11 et on va voir si elle prend de l'éthique,
33:13 et on va voir si elle prend de l'éthique,
33:15 et on va voir si elle prend de l'éthique,
33:17 et on va voir si elle prend de l'éthique,
33:19 et on va voir si elle prend de l'éthique,
33:21 et on va voir si elle prend de l'éthique,
33:23 et on va voir si elle prend de l'éthique,
33:25 et on va voir si elle prend de l'éthique,
33:27 et on va voir si elle prend de l'éthique,
33:29 et on va voir si elle prend de l'éthique,
33:31 et on va voir si elle prend de l'éthique,
33:33 et on va voir si elle prend de l'éthique,
33:35 et on va voir si elle prend de l'éthique,
33:37 et on va voir si elle prend de l'éthique,
33:39 et on va voir si elle prend de l'éthique,
33:41 et on va voir si elle prend de l'éthique,
33:43 et on va voir si elle prend de l'éthique,
33:45 et on va voir si elle prend de l'éthique,
33:47 et on va voir si elle prend de l'éthique,
33:49 et on va voir si elle prend de l'éthique,
33:51 et on va voir si elle prend de l'éthique,
33:53 et on va voir si elle prend de l'éthique,
33:55 et on va voir si elle prend de l'éthique,
33:57 et on va voir si elle prend de l'éthique,
33:59 et on va voir si elle prend de l'éthique,
34:01 et on va voir si elle prend de l'éthique,
34:03 et on va voir si elle prend de l'éthique,
34:05 et on va voir si elle prend de l'éthique,
34:07 et on va voir si elle prend de l'éthique,
34:09 et on va voir si elle prend de l'éthique,
34:11 et on va voir si elle prend de l'éthique,
34:13 et on va voir si elle prend de l'éthique,
34:15 et on va voir si elle prend de l'éthique,
34:17 et on va voir si elle prend de l'éthique,
34:19 et on va voir si elle prend de l'éthique,
34:21 et on va voir si elle prend de l'éthique,
34:23 et on va voir si elle prend de l'éthique,
34:25 et on va voir si elle prend de l'éthique,
34:27 et on va voir si elle prend de l'éthique,
34:29 et on va voir si elle prend de l'éthique,
34:31 et on va voir si elle prend de l'éthique,
34:33 et on va voir si elle prend de l'éthique,
34:35 et on va voir si elle prend de l'éthique,
34:37 et on va voir si elle prend de l'éthique,
34:39 et on va voir si elle prend de l'éthique,
34:41 et on va voir si elle prend de l'éthique,
34:43 et on va voir si elle prend de l'éthique,
34:45 et on va voir si elle prend de l'éthique,
34:47 et on va voir si elle prend de l'éthique,
34:49 et on va voir si elle prend de l'éthique,
34:51 et on va voir si elle prend de l'éthique,
34:53 et on va voir si elle prend de l'éthique,
34:55 et on va voir si elle prend de l'éthique,
34:57 et on va voir si elle prend de l'éthique,
34:59 et on va voir si elle prend de l'éthique,
35:01 et on va voir si elle prend de l'éthique,
35:03 et on va voir si elle prend de l'éthique,
35:05 et on va voir si elle prend de l'éthique,
35:07 et on va voir si elle prend de l'éthique,
35:09 et on va voir si elle prend de l'éthique,
35:11 et on va voir si elle prend de l'éthique,
35:13 et on va voir si elle prend de l'éthique,
35:15 et on va voir si elle prend de l'éthique,
35:17 et on va voir si elle prend de l'éthique,
35:19 et on va voir si elle prend de l'éthique,
35:21 et on va voir si elle prend de l'éthique,
35:23 et on va voir si elle prend de l'éthique,
35:25 et on va voir si elle prend de l'éthique,
35:27 et on va voir si elle prend de l'éthique,
35:29 et on va voir si elle prend de l'éthique,
35:31 et on va voir si elle prend de l'éthique,
35:33 et on va voir si elle prend de l'éthique,
35:35 et on va voir si elle prend de l'éthique,
35:37 et on va voir si elle prend de l'éthique,
35:39 et on va voir si elle prend de l'éthique,
35:41 et on va voir si elle prend de l'éthique,
35:43 et on va voir si elle prend de l'éthique,
35:45 et on va voir si elle prend de l'éthique,
35:47 et on va voir si elle prend de l'éthique,
35:49 et on va voir si elle prend de l'éthique,
35:51 et on va voir si elle prend de l'éthique,
35:53 et on va voir si elle prend de l'éthique,
35:55 et on va voir si elle prend de l'éthique,
35:57 et on va voir si elle prend de l'éthique,
35:59 et on va voir si elle prend de l'éthique,
36:01 et on va voir si elle prend de l'éthique,
36:03 et on va voir si elle prend de l'éthique,
36:05 et on va voir si elle prend de l'éthique,
36:07 et on va voir si elle prend de l'éthique,
36:09 et on va voir si elle prend de l'éthique,
36:11 et on va voir si elle prend de l'éthique,
36:13 et on va voir si elle prend de l'éthique,
36:15 et on va voir si elle prend de l'éthique,
36:17 et on va voir si elle prend de l'éthique,
36:19 et on va voir si elle prend de l'éthique,
36:21 et on va voir si elle prend de l'éthique,
36:23 et on va voir si elle prend de l'éthique,
36:25 et on va voir si elle prend de l'éthique,
36:27 et on va voir si elle prend de l'éthique,
36:29 et on va voir si elle prend de l'éthique,
36:31 et on va voir si elle prend de l'éthique,
36:33 et on va voir si elle prend de l'éthique,
36:35 et on va voir si elle prend de l'éthique,
36:37 et on va voir si elle prend de l'éthique,
36:39 et on va voir si elle prend de l'éthique,
36:41 et on va voir si elle prend de l'éthique,
36:43 et on va voir si elle prend de l'éthique,
36:45 et on va voir si elle prend de l'éthique,
36:47 et on va voir si elle prend de l'éthique,
36:49 et on va voir si elle prend de l'éthique,
36:51 et on va voir si elle prend de l'éthique,
36:53 et on va voir si elle prend de l'éthique,
36:55 et on va voir si elle prend de l'éthique,
36:57 et on va voir si elle prend de l'éthique,
36:59 et on va voir si elle prend de l'éthique,
37:01 et on va voir si elle prend de l'éthique,
37:03 et on va voir si elle prend de l'éthique,
37:05 et on va voir si elle prend de l'éthique,
37:07 et on va voir si elle prend de l'éthique,
37:09 et on va voir si elle prend de l'éthique,
37:11 et on va voir si elle prend de l'éthique,
37:13 et on va voir si elle prend de l'éthique,
37:15 et on va voir si elle prend de l'éthique,
37:17 et on va voir si elle prend de l'éthique,
37:19 et on va voir si elle prend de l'éthique,
37:21 et on va voir si elle prend de l'éthique,
37:23 et on va voir si elle prend de l'éthique,
37:25 et on va voir si elle prend de l'éthique,
37:27 et on va voir si elle prend de l'éthique,
37:29 et on va voir si elle prend de l'éthique,
37:31 et on va voir si elle prend de l'éthique,
37:33 et on va voir si elle prend de l'éthique,
37:35 et on va voir si elle prend de l'éthique,
37:37 et on va voir si elle prend de l'éthique,
37:39 et on va voir si elle prend de l'éthique,
37:41 et on va voir si elle prend de l'éthique,
37:43 et on va voir si elle prend de l'éthique,
37:45 et on va voir si elle prend de l'éthique,
37:47 et on va voir si elle prend de l'éthique,
37:49 et on va voir si elle prend de l'éthique,
37:51 et on va voir si elle prend de l'éthique,
37:53 et on va voir si elle prend de l'éthique,
37:55 et on va voir si elle prend de l'éthique,
37:57 et on va voir si elle prend de l'éthique,
37:59 et on va voir si elle prend de l'éthique,
38:01 et on va voir si elle prend de l'éthique,
38:03 et on va voir si elle prend de l'éthique,
38:05 et on va voir si elle prend de l'éthique,
38:07 et on va voir si elle prend de l'éthique,
38:09 et on va voir si elle prend de l'éthique,
38:11 et on va voir si elle prend de l'éthique,
38:13 et on va voir si elle prend de l'éthique,
38:15 et on va voir si elle prend de l'éthique,
38:17 et on va voir si elle prend de l'éthique,
38:19 et on va voir si elle prend de l'éthique,
38:21 et on va voir si elle prend de l'éthique,
38:23 et on va voir si elle prend de l'éthique,
38:25 et on va voir si elle prend de l'éthique,
38:27 et on va voir si elle prend de l'éthique,
38:29 et on va voir si elle prend de l'éthique,
38:31 et on va voir si elle prend de l'éthique,
38:33 et on va voir si elle prend de l'éthique,
38:35 et on va voir si elle prend de l'éthique,
38:37 et on va voir si elle prend de l'éthique,
38:39 et on va voir si elle prend de l'éthique,
38:41 et on va voir si elle prend de l'éthique,
38:43 et on va voir si elle prend de l'éthique,
38:45 et on va voir si elle prend de l'éthique,
38:47 et on va voir si elle prend de l'éthique,
38:49 et on va voir si elle prend de l'éthique,
38:51 et on va voir si elle prend de l'éthique,
38:53 et on va voir si elle prend de l'éthique,
38:55 et on va voir si elle prend de l'éthique,
38:57 et on va voir si elle prend de l'éthique,
38:59 et on va voir si elle prend de l'éthique,
39:01 et on va voir si elle prend de l'éthique,
39:03 et on va voir si elle prend de l'éthique,
39:05 et on va voir si elle prend de l'éthique,
39:07 et on va voir si elle prend de l'éthique,
39:09 et on va voir si elle prend de l'éthique,
39:11 et on va voir si elle prend de l'éthique,
39:13 et on va voir si elle prend de l'éthique,
39:15 et on va voir si elle prend de l'éthique,
39:17 et on va voir si elle prend de l'éthique,
39:19 et on va voir si elle prend de l'éthique,
39:21 et on va voir si elle prend de l'éthique,
39:23 et on va voir si elle prend de l'éthique,
39:25 et on va voir si elle prend de l'éthique,
39:27 et on va voir si elle prend de l'éthique,
39:29 et on va voir si elle prend de l'éthique,
39:31 et on va voir si elle prend de l'éthique,
39:33 et on va voir si elle prend de l'éthique,
39:35 et on va voir si elle prend de l'éthique,
39:37 et on va voir si elle prend de l'éthique,
39:39 et on va voir si elle prend de l'éthique,
39:41 et on va voir si elle prend de l'éthique,
39:43 et on va voir si elle prend de l'éthique,
39:45 et on va voir si elle prend de l'éthique,
39:47 et on va voir si elle prend de l'éthique,
39:49 et on va voir si elle prend de l'éthique,
39:51 et on va voir si elle prend de l'éthique,
39:53 et on va voir si elle prend de l'éthique,
39:55 et on va voir si elle prend de l'éthique,
39:57 et on va voir si elle prend de l'éthique,
39:59 et on va voir si elle prend de l'éthique,
40:01 et on va voir si elle prend de l'éthique,
40:03 et on va voir si elle prend de l'éthique,
40:05 et on va voir si elle prend de l'éthique,
40:07 et on va voir si elle prend de l'éthique,
40:09 et on va voir si elle prend de l'éthique,
40:11 et on va voir si elle prend de l'éthique,
40:13 et on va voir si elle prend de l'éthique,
40:15 et on va voir si elle prend de l'éthique,
40:17 et on va voir si elle prend de l'éthique,
40:19 et on va voir si elle prend de l'éthique,
40:21 et on va voir si elle prend de l'éthique,
40:23 et on va voir si elle prend de l'éthique,
40:25 et on va voir si elle prend de l'éthique,
40:27 et on va voir si elle prend de l'éthique,
40:29 et on va voir si elle prend de l'éthique,
40:31 et on va voir si elle prend de l'éthique,
40:33 et on va voir si elle prend de l'éthique,
40:35 et on va voir si elle prend de l'éthique,
40:37 et on va voir si elle prend de l'éthique,
40:39 et on va voir si elle prend de l'éthique,
40:41 et on va voir si elle prend de l'éthique,
40:43 et on va voir si elle prend de l'éthique,
40:45 et on va voir si elle prend de l'éthique,
40:47 et on va voir si elle prend de l'éthique,
40:49 et on va voir si elle prend de l'éthique,
40:51 et on va voir si elle prend de l'éthique,
40:53 et on va voir si elle prend de l'éthique,
40:55 et on va voir si elle prend de l'éthique,
40:57 et on va voir si elle prend de l'éthique,
40:59 et on va voir si elle prend de l'éthique,
41:01 et on va voir si elle prend de l'éthique,
41:03 et on va voir si elle prend de l'éthique,
41:05 et on va voir si elle prend de l'éthique,
41:07 et on va voir si elle prend de l'éthique,
41:09 et on va voir si elle prend de l'éthique,
41:11 et on va voir si elle prend de l'éthique,
41:13 et on va voir si elle prend de l'éthique,
41:15 et on va voir si elle prend de l'éthique,
41:17 et on va voir si elle prend de l'éthique,
41:19 et on va voir si elle prend de l'éthique,
41:21 et on va voir si elle prend de l'éthique,
41:23 et on va voir si elle prend de l'éthique,
41:25 et on va voir si elle prend de l'éthique,
41:27 et on va voir si elle prend de l'éthique,
41:29 et on va voir si elle prend de l'éthique,
41:31 et on va voir si elle prend de l'éthique,
41:33 et on va voir si elle prend de l'éthique,
41:35 et on va voir si elle prend de l'éthique,
41:37 et on va voir si elle prend de l'éthique,
41:39 et on va voir si elle prend de l'éthique,
41:41 et on va voir si elle prend de l'éthique,
41:43 et on va voir si elle prend de l'éthique,
41:45 et on va voir si elle prend de l'éthique,
41:47 et on va voir si elle prend de l'éthique,
41:49 et on va voir si elle prend de l'éthique,
41:51 et on va voir si elle prend de l'éthique,
41:53 et on va voir si elle prend de l'éthique,
41:55 et on va voir si elle prend de l'éthique,
41:57 et on va voir si elle prend de l'éthique,
41:59 et on va voir si elle prend de l'éthique,
42:01 et on va voir si elle prend de l'éthique,
42:03 et on va voir si elle prend de l'éthique,
42:05 et on va voir si elle prend de l'éthique,
42:07 et on va voir si elle prend de l'éthique,
42:09 et on va voir si elle prend de l'éthique,
42:11 et on va voir si elle prend de l'éthique,
42:13 et on va voir si elle prend de l'éthique,
42:15 et on va voir si elle prend de l'éthique,
42:17 et on va voir si elle prend de l'éthique,
42:19 et on va voir si elle prend de l'éthique,
42:21 et on va voir si elle prend de l'éthique,
42:23 et on va voir si elle prend de l'éthique,
42:25 et on va voir si elle prend de l'éthique,
42:27 et on va voir si elle prend de l'éthique,
42:29 et on va voir si elle prend de l'éthique,
42:31 et on va voir si elle prend de l'éthique,
42:33 et on va voir si elle prend de l'éthique,
42:35 et on va voir si elle prend de l'éthique,
42:37 et on va voir si elle prend de l'éthique,
42:39 et on va voir si elle prend de l'éthique,
42:41 et on va voir si elle prend de l'éthique,
42:43 et on va voir si elle prend de l'éthique,
42:45 et on va voir si elle prend de l'éthique,
42:47 et on va voir si elle prend de l'éthique,
42:49 et on va voir si elle prend de l'éthique,
42:51 et on va voir si elle prend de l'éthique,
42:53 et on va voir si elle prend de l'éthique,
42:55 et on va voir si elle prend de l'éthique,
42:57 et on va voir si elle prend de l'éthique,
42:59 et on va voir si elle prend de l'éthique,
43:01 et on va voir si elle prend de l'éthique,
43:03 et on va voir si elle prend de l'éthique,
43:05 et on va voir si elle prend de l'éthique,
43:07 et on va voir si elle prend de l'éthique,
43:09 et on va voir si elle prend de l'éthique,
43:11 et on va voir si elle prend de l'éthique,
43:13 et on va voir si elle prend de l'éthique,
43:15 et on va voir si elle prend de l'éthique,
43:17 et on va voir si elle prend de l'éthique,
43:19 et on va voir si elle prend de l'éthique,
43:21 et on va voir si elle prend de l'éthique,
43:23 et on va voir si elle prend de l'éthique,
43:25 et on va voir si elle prend de l'éthique,
43:27 et on va voir si elle prend de l'éthique,
43:29 et on va voir si elle prend de l'éthique,
43:31 et on va voir si elle prend de l'éthique,
43:33 et on va voir si elle prend de l'éthique,
43:35 et on va voir si elle prend de l'éthique,
43:37 et on va voir si elle prend de l'éthique,
43:39 et on va voir si elle prend de l'éthique,
43:41 et on va voir si elle prend de l'éthique,
43:43 et on va voir si elle prend de l'éthique,
43:45 et on va voir si elle prend de l'éthique,
43:47 et on va voir si elle prend de l'éthique,
43:49 et on va voir si elle prend de l'éthique,
43:51 et on va voir si elle prend de l'éthique,
43:53 et on va voir si elle prend de l'éthique,
43:55 et on va voir si elle prend de l'éthique,
43:57 et on va voir si elle prend de l'éthique,
43:59 et on va voir si elle prend de l'éthique,
44:01 et on va voir si elle prend de l'éthique,
44:03 et on va voir si elle prend de l'éthique,
44:05 et on va voir si elle prend de l'éthique,
44:07 et on va voir si elle prend de l'éthique,
44:09 et on va voir si elle prend de l'éthique,
44:11 et on va voir si elle prend de l'éthique,
44:13 et on va voir si elle prend de l'éthique,
44:15 et on va voir si elle prend de l'éthique,
44:17 et on va voir si elle prend de l'éthique,
44:19 et on va voir si elle prend de l'éthique,
44:21 et on va voir si elle prend de l'éthique,
44:23 et on va voir si elle prend de l'éthique,
44:25 et on va voir si elle prend de l'éthique,
44:27 et on va voir si elle prend de l'éthique,
44:29 et on va voir si elle prend de l'éthique,
44:31 et on va voir si elle prend de l'éthique,
44:33 et on va voir si elle prend de l'éthique,
44:35 et on va voir si elle prend de l'éthique,
44:37 et on va voir si elle prend de l'éthique,
44:39 et on va voir si elle prend de l'éthique,
44:41 et on va voir si elle prend de l'éthique,
44:43 et on va voir si elle prend de l'éthique,
44:45 et on va voir si elle prend de l'éthique,
44:47 et on va voir si elle prend de l'éthique,
44:49 et on va voir si elle prend de l'éthique,
44:51 et on va voir si elle prend de l'éthique,
44:53 et on va voir si elle prend de l'éthique,
44:55 et on va voir si elle prend de l'éthique,
44:57 et on va voir si elle prend de l'éthique,
44:59 et on va voir si elle prend de l'éthique,
45:01 et on va voir si elle prend de l'éthique,
45:03 et on va voir si elle prend de l'éthique,
45:05 et on va voir si elle prend de l'éthique,
45:07 et on va voir si elle prend de l'éthique,
45:09 et on va voir si elle prend de l'éthique,
45:11 et on va voir si elle prend de l'éthique,
45:13 et on va voir si elle prend de l'éthique,
45:15 et on va voir si elle prend de l'éthique,
45:17 et on va voir si elle prend de l'éthique,
45:19 et on va voir si elle prend de l'éthique,
45:21 et on va voir si elle prend de l'éthique,
45:23 et on va voir si elle prend de l'éthique,
45:25 et on va voir si elle prend de l'éthique,
45:27 et on va voir si elle prend de l'éthique,
45:29 et on va voir si elle prend de l'éthique,
45:31 et on va voir si elle prend de l'éthique,
45:33 et on va voir si elle prend de l'éthique,
45:35 et on va voir si elle prend de l'éthique,
45:37 et on va voir si elle prend de l'éthique,
45:39 et on va voir si elle prend de l'éthique,
45:41 et on va voir si elle prend de l'éthique,
45:43 et on va voir si elle prend de l'éthique,
45:45 et on va voir si elle prend de l'éthique,
45:47 et on va voir si elle prend de l'éthique,
45:49 et on va voir si elle prend de l'éthique,
45:51 et on va voir si elle prend de l'éthique,
45:53 et on va voir si elle prend de l'éthique,
45:55 et on va voir si elle prend de l'éthique,
45:57 et on va voir si elle prend de l'éthique,
45:59 et on va voir si elle prend de l'éthique,
46:01 et on va voir si elle prend de l'éthique,
46:03 et on va voir si elle prend de l'éthique,
46:05 et on va voir si elle prend de l'éthique,
46:07 et on va voir si elle prend de l'éthique,
46:09 et on va voir si elle prend de l'éthique,
46:11 et on va voir si elle prend de l'éthique,
46:13 et on va voir si elle prend de l'éthique,
46:15 et on va voir si elle prend de l'éthique,
46:17 et on va voir si elle prend de l'éthique,
46:19 et on va voir si elle prend de l'éthique,
46:21 et on va voir si elle prend de l'éthique,
46:23 et on va voir si elle prend de l'éthique,
46:25 et on va voir si elle prend de l'éthique,
46:27 et on va voir si elle prend de l'éthique,
46:29 et on va voir si elle prend de l'éthique,
46:31 et on va voir si elle prend de l'éthique,
46:33 et on va voir si elle prend de l'éthique,
46:35 et on va voir si elle prend de l'éthique,
46:37 et on va voir si elle prend de l'éthique,
46:39 et on va voir si elle prend de l'éthique,
46:41 et on va voir si elle prend de l'éthique,
46:43 et on va voir si elle prend de l'éthique,
46:45 et on va voir si elle prend de l'éthique,
46:47 et on va voir si elle prend de l'éthique,
46:49 et on va voir si elle prend de l'éthique,
46:51 et on va voir si elle prend de l'éthique,
46:53 et on va voir si elle prend de l'éthique,
46:55 et on va voir si elle prend de l'éthique,
46:57 et on va voir si elle prend de l'éthique,
46:59 et on va voir si elle prend de l'éthique,
47:01 et on va voir si elle prend de l'éthique,
47:03 et on va voir si elle prend de l'éthique,
47:05 et on va voir si elle prend de l'éthique,
47:07 et on va voir si elle prend de l'éthique,
47:09 et on va voir si elle prend de l'éthique,
47:11 et on va voir si elle prend de l'éthique,
47:13 et on va voir si elle prend de l'éthique,
47:15 et on va voir si elle prend de l'éthique,
47:17 et on va voir si elle prend de l'éthique,
47:19 et on va voir si elle prend de l'éthique,
47:21 et on va voir si elle prend de l'éthique,
47:23 et on va voir si elle prend de l'éthique,
47:25 et on va voir si elle prend de l'éthique,
47:27 et on va voir si elle prend de l'éthique,
47:29 et on va voir si elle prend de l'éthique,
47:31 et on va voir si elle prend de l'éthique,
47:33 et on va voir si elle prend de l'éthique,
47:35 et on va voir si elle prend de l'éthique,
47:37 et on va voir si elle prend de l'éthique,
47:39 et on va voir si elle prend de l'éthique,
47:41 et on va voir si elle prend de l'éthique,
47:43 et on va voir si elle prend de l'éthique,
47:45 et on va voir si elle prend de l'éthique,
47:47 et on va voir si elle prend de l'éthique,
47:49 et on va voir si elle prend de l'éthique,
47:51 et on va voir si elle prend de l'éthique,
47:53 et on va voir si elle prend de l'éthique,
47:55 et on va voir si elle prend de l'éthique,
47:57 et on va voir si elle prend de l'éthique,
47:59 et on va voir si elle prend de l'éthique,
48:01 et on va voir si elle prend de l'éthique,
48:03 et on va voir si elle prend de l'éthique,
48:05 et on va voir si elle prend de l'éthique,
48:07 et on va voir si elle prend de l'éthique,
48:09 et on va voir si elle prend de l'éthique,
48:11 et on va voir si elle prend de l'éthique,
48:13 et on va voir si elle prend de l'éthique,
48:15 et on va voir si elle prend de l'éthique,
48:17 et on va voir si elle prend de l'éthique,
48:19 et on va voir si elle prend de l'éthique,
48:21 et on va voir si elle prend de l'éthique,
48:23 et on va voir si elle prend de l'éthique,
48:25 et on va voir si elle prend de l'éthique,
48:27 et on va voir si elle prend de l'éthique,
48:29 et on va voir si elle prend de l'éthique,
48:31 et on va voir si elle prend de l'éthique,
48:33 et on va voir si elle prend de l'éthique,
48:35 et on va voir si elle prend de l'éthique,
48:37 et on va voir si elle prend de l'éthique,
48:39 et on va voir si elle prend de l'éthique,
48:41 et on va voir si elle prend de l'éthique,
48:43 et on va voir si elle prend de l'éthique,
48:45 et on va voir si elle prend de l'éthique,
48:47 et on va voir si elle prend de l'éthique,
48:49 et on va voir si elle prend de l'éthique,
48:51 et on va voir si elle prend de l'éthique,
48:53 et on va voir si elle prend de l'éthique,
48:55 et on va voir si elle prend de l'éthique,
48:57 et on va voir si elle prend de l'éthique,
48:59 et on va voir si elle prend de l'éthique,
49:01 et on va voir si elle prend de l'éthique,
49:03 et on va voir si elle prend de l'éthique,
49:05 et on va voir si elle prend de l'éthique,
49:07 et on va voir si elle prend de l'éthique,
49:09 et on va voir si elle prend de l'éthique,
49:11 et on va voir si elle prend de l'éthique,
49:13 et on va voir si elle prend de l'éthique,
49:15 et on va voir si elle prend de l'éthique,
49:17 et on va voir si elle prend de l'éthique,
49:19 et on va voir si elle prend de l'éthique,
49:21 et on va voir si elle prend de l'éthique,
49:23 et on va voir si elle prend de l'éthique,
49:25 et on va voir si elle prend de l'éthique,
49:27 et on va voir si elle prend de l'éthique,
49:29 et on va voir si elle prend de l'éthique,
49:31 et on va voir si elle prend de l'éthique,
49:33 et on va voir si elle prend de l'éthique,
49:35 et on va voir si elle prend de l'éthique,
49:37 et on va voir si elle prend de l'éthique,
49:39 et on va voir si elle prend de l'éthique,
49:41 et on va voir si elle prend de l'éthique,
49:43 et on va voir si elle prend de l'éthique,
49:45 et on va voir si elle prend de l'éthique,
49:47 et on va voir si elle prend de l'éthique,
49:49 et on va voir si elle prend de l'éthique,
49:51 et on va voir si elle prend de l'éthique,
49:53 et on va voir si elle prend de l'éthique,
49:55 et on va voir si elle prend de l'éthique,
49:57 et on va voir si elle prend de l'éthique,
49:59 et on va voir si elle prend de l'éthique,
50:01 et on va voir si elle prend de l'éthique,
50:03 et on va voir si elle prend de l'éthique,
50:05 et on va voir si elle prend de l'éthique,
50:07 et on va voir si elle prend de l'éthique,
50:09 et on va voir si elle prend de l'éthique,
50:11 et on va voir si elle prend de l'éthique,
50:13 et on va voir si elle prend de l'éthique,
50:15 et on va voir si elle prend de l'éthique,
50:17 et on va voir si elle prend de l'éthique,
50:19 et on va voir si elle prend de l'éthique,
50:21 et on va voir si elle prend de l'éthique,
50:23 et on va voir si elle prend de l'éthique,
50:25 et on va voir si elle prend de l'éthique,
50:27 et on va voir si elle prend de l'éthique,
50:29 et on va voir si elle prend de l'éthique,
50:31 et on va voir si elle prend de l'éthique,
50:33 et on va voir si elle prend de l'éthique,
50:35 et on va voir si elle prend de l'éthique,
50:37 et on va voir si elle prend de l'éthique,
50:39 et on va voir si elle prend de l'éthique,