La déresponsabilisation par l'intelligence artificielle [Marius Bertolucci]
Xerfi Canal a reçu Marius Bertolucci, maître de conférences à l‘Institut de Management Public et de Gouvernance Territoriale à Aix-Marseille Université, pour parler de l'IA risque de la décision.
Une interview menée par Jean-Philippe Denis.
Une interview menée par Jean-Philippe Denis.
Category
🗞
NewsTranscription
00:00Bonjour, Marius Bertolucci.
00:10Bonjour, Jean-Philippe Denis.
00:12Marius Bertolucci, vous êtes maître de
00:13conférence à l'Institut du
00:14Management Public et Gouvernance
00:16Territoriale, l'IMPGT, ex-Marseille
00:18Université.
00:19L'Homme diminué par l'IA, c'est
00:21l'ouvrage qu'il a publié aux
00:22éditions Hermann.
00:23C'est un ouvrage qu'il faut lire,
00:25qu'il va faire beaucoup de bruit,
00:26qu'il faut faire lire aux jeunes et
00:28aux moins jeunes.
00:30Une thèse forte dans l'ouvrage,
00:32c'est que l'IA, c'est un risque pour
00:33la décision.
00:35Oui.
00:36On n'attend pas qu'une IA fonctionne
00:37pour l'utiliser.
00:39On plonge dedans.
00:40On semble utiliser, c'est un constat
00:41fort et je prends souvent un
00:43exemple, la police prédictive.
00:45Les scientifiques vous disent que ça
00:46n'a aucun sens et pourtant, vous
00:47avez des dizaines de polices au
00:49travers le monde, aux Etats-Unis,
00:51Berlin, Amsterdam, etc., qui vont
00:53utiliser ces systèmes-là.
00:54Il y a un tel engouement autour de
00:56l'IA que le bon sens,
00:58j'ai jamais envie de dire, le bon
00:58sens paysan a disparu.
01:00Est-ce que ce système fonctionne ?
01:01Oui ou non.
01:03Prenons un exemple et j'aime les
01:05exemples du margent public parce
01:06qu'ils sont très forts, humainement
01:07ils sont forts. Prenons l'État du
01:08Michigan. De 2013 à 2015,
01:10ils décident de faire appel à un
01:11algorithme pour traquer les
01:13fraudeurs pour les allocations
01:15chômage. Donc, ils mettent 26 mois
01:16d'effort, 47 millions de dollars sur
01:18la table pour un algorithme avec un
01:20taux d'erreur de 93 %.
01:21Sauf qu'en deux ans, il a eu le
01:23temps d'endetter plus de 30 000
01:25familles. On n'est jamais sûr, même
01:27avec les rapports d'enquête par la
01:27suite. Donc, on n'attend pas.
01:29C'est assez catastrophique.
01:31Les Pays-Bas de 2013 à 2020,
01:34ils auraient pu quand même jeter un
01:34coup d'œil sur ce qui s'est passé
01:36dans l'État du Michigan.
01:37Eh bien, ils ont mis en place
01:38également un système pour traquer
01:39les fraudeurs.
01:41Il faut quand même voir qu'en 2021,
01:43le gouvernement tombe à cause de
01:44ça parce qu'on est à plus de 30 000
01:45familles endettées et les chiffres
01:46ont évolué récemment.
01:48On est à 2 090 enfants retirés à
01:50leurs familles. Donc, je me pose
01:51véritablement la question, est-ce
01:53qu'on peut être un peu sérieux
01:54face à tout ça ?
01:55Oui, est-ce qu'on peut être un peu
01:56sérieux ? Être un peu sérieux, ça
01:57veut dire être responsable.
01:58Et vous nous dites en fait, l'IA,
01:59c'est ça le problème, c'est que
02:01précisément, ça déresponsabilise.
02:03C'est exact. Quand on a des
02:05exemples aussi forts que ceux-ci
02:06qui amènent autant de milliers de
02:08personnes dans cette histoire,
02:10par-delà les frontières,
02:12on est face à des effets de
02:13déresponsabilisation.
02:14On a des études de laboratoire qui
02:15le montrent. Une très bonne étude
02:16de l'Université Technique de
02:17Berlin qui montre qu'un individu
02:19assisté par une IA biaisée va
02:21incorporer le biais dans sa
02:22décision. Et quand on lui retire
02:23l'IA biaisé, le biais continue.
02:25Et inversement, vous avez une
02:26tâche à faire sans IA, vous
02:28avez de très bons résultats, on
02:29vous met l'IA biaisé, et bien
02:31vous faites autant d'erreurs que
02:32l'autre type de personnes, que
02:33l'autre groupe d'études.
02:35D'autres études qui montrent
02:36également que lorsqu'on est
02:37assisté par une IA, eh bien, on
02:39est moins consciencieux dans les
02:40tâches à accomplir.
02:41Donc, quand vous prenez les
02:42études de laboratoire, il y en a
02:43d'autres, et le réel, on a
02:45évoqué quelques cas, eh bien,
02:47c'est la catastrophe.
02:48Je prends la CAF française qui
02:50est une administration similaire
02:51à celle des Pays-Bas.
02:52Lorsque la quadrature du net
02:54montre que l'algorithme est
02:55discriminatoire, que répond un
02:57directeur de la CAF ?
02:58L'algorithme est neutre.
02:59D'ailleurs, on ne sait pas
03:00comment il fonctionne.
03:01C'est irresponsable, c'est
03:03incompétent, c'est extrêmement
03:05grave.
03:06En dehors de l'effet de
03:07déresponsabilisation, parce qu'on
03:08délègue beaucoup trop à la
03:09technique, je ne vois pas ce qui
03:11se passe.
03:12Qu'est-ce qu'on peut faire ?
03:13Est-ce qu'il y a quelque chose à
03:14faire ?
03:15Oui, j'ai un espoir, un grand
03:17espoir.
03:18Il tient en deux mots, c'est
03:19gendarmerie nationale.
03:21Je lisais un article publié en
03:23décembre 2023, l'article
03:25État de l'art sur les défis,
03:26l'adoption de l'IA dans les
03:28secteurs publics, 15 défis.
03:29Et ensuite, je me disais, mais
03:30c'est intéressant parce que quand
03:31je regarde ce que fait la
03:32gendarmerie nationale, quand je
03:33pense à ce que dit et nos
03:36discussions avec le général
03:36Patrick Perrault, que je salue,
03:38eh bien, ils font le travail.
03:40C'est assez extraordinaire.
03:42Je ne vais pas forcément vous
03:42énoncer les 15 points, mais on
03:44prend tout de même quelques-uns.
03:46Avoir une stratégie claire pour
03:47l'adoption de l'IA parce que ça
03:48va bouleverser le fonctionnement
03:50de l'institution.
03:51Ne pas abuser des données que
03:53l'IA va produire.
03:54Avoir des valeurs humaines, donc
03:56avoir une colonne vertébrale
03:57morale extrêmement stricte.
03:58Donc, j'ai foi dans les
03:58militaires et j'ai foi dans le
04:00général Perrault pour ce qu'il
04:02fait.
04:02Avoir des capacités
04:03organisationnelles, techniques
04:05et humaines.
04:05Le général Perrault, qui est
04:06docteur en IA, il est entouré de
04:08personnes de qualité.
04:09Je pense à Licence de France,
04:11qui est docteur en IA,
04:11spécialisé en droit.
04:12Donc, il y a toute une équipe
04:13qui travaille au sein de la
04:15gendarmerie, une acculturation
04:16au sein de la gendarmerie qui
04:18s'est faite notamment par un
04:19MOOC que tous les gendarmes ont
04:20passé, un magazine qui a de très
04:22bonnes qualités, qui sort à peu
04:23près tous les mois, je crois.
04:24Culture IA, parce qu'avec l'IA,
04:25ça avance très vite pour tenir
04:26tout le monde au courant.
04:27Et le point le plus important,
04:29et là vraiment, la gendarmerie
04:29est admirable, c'est qu'elle
04:31refuse l'effet boîte noire.
04:33Donc, elle ne va pas acheter sur
04:34l'étagère un système qu'elle ne
04:35maîtrise pas.
04:35Elle développe un interne.
04:37C'est plus compliqué, c'est plus
04:38cher, mais au moins, ça
04:38correspond à la culture
04:39professionnelle et on sait
04:40comment ça marche.
04:41Et là, on retrouve l'esprit
04:42militaire.
04:43On veut savoir comment ça
04:44fonctionne et surtout, comment
04:45ça peut dysfonctionner parce
04:46qu'il faut être prêt.
04:49L'homme diminué par l'IA,
04:51édition Hermann, on va
04:52continuer à creuser toutes ces
04:54questions ensemble qui sont
04:55absolument passionnantes et qui
04:56sont au cœur de notre agenda.
04:58Merci.
04:59Avec plaisir.
04:59Merci à vous.