A la rencontre d’« Albert », le projet d’IA générative du service public français : Comment les administrations s’emparent de l’IA et quelles sont les pistes d’intégration par les collectivités territoriales ?
Category
🤖
TechnologieTranscription
00:00Bonjour.
00:01Bonjour à tous.
00:02Je m'appelle Agathe, je travaille au programme Transformation Numérique des Territoires.
00:05On est ravis de vous recevoir et aujourd'hui j'ai le plaisir de vous présenter Pierre-Étienne,
00:10Pierre-Étienne Devineau, qui travaille à Etalab, à l'Adynum, et qui va donc vous
00:15présenter d'abord la stratégie d'intelligence artificielle de l'Adynum, avec un focus par
00:20la suite sur Albert, et les modalités numériques de l'Adynum.
00:26Absolument.
00:27Donc, ce que nous voulons vous proposer, c'est de prendre environ une vingtaine, vingt-trente
00:32minutes de présentation, et ensuite de consacrer le reste du créneau à un échange, à la
00:38fois sur l'IA, sur ses possibilités dans les collectivités, sur les possibilités
00:43d'intégration d'Albert, de l'Adynum, de l'intelligence artificielle de l'Adynum,
00:49l'IA, sur ses possibilités dans les collectivités, sur les possibilités d'intégration d'Albert
00:55en particulier dans les collectivités, mais d'une manière générale, on pourra parler
01:00de l'ensemble de ce sujet de valorisation de la donnée.
01:04Aujourd'hui, la stratégie qui est portée par l'Adynum, c'est d'utiliser l'intelligence
01:11artificielle au sein de produits, et si possible de produits open source.
01:16C'est le cas à l'Adynum, c'est aussi le cas à la DGFIP, c'est le cas au SR intérieur
01:21entre autres, et à chaque fois, la stratégie est la même, utiliser des modèles ouverts,
01:27les intégrer dans des produits open source, dont l'impact, dans le cas de l'Adynum,
01:34soit relativement immédiat.
01:36Pour l'ensemble de ces produits, le point sera toujours le même, à savoir partir
01:43d'un modèle relativement générique, et venir ensuite le spécialiser en fonction
01:48des besoins.
01:49Ce sont des développements d'intelligence artificielle qui ont plusieurs externalités
01:54positives.
01:55La première, c'est qu'on ne fait pas d'IA sans data.
01:57Si jamais on veut faire une IA qui se spécialise sur ses propres données, ça demande d'avoir
02:02un travail de gouvernance sur la dismultiplicité des données, sur leur fraîcheur, leur mise
02:07à jour, leur qualité.
02:09Donc, c'est une première externalité.
02:11La deuxième externalité, c'est aussi la montée en expertise des équipes, qui deviennent
02:15progressivement à même de développer et maintenir leurs propres solutions, plutôt
02:20qu'une solution d'éditeur, dont elles pourraient éventuellement être dépendantes.
02:24Il y a un certain nombre de dispositifs qui existent au niveau de l'Adynum, mais qui
02:28sont plus tournés vers les administrations d'État.
02:32Donc, le Fonds de Transformation d'Accent Public, le Collectif Alliance.
02:36Et au niveau des collectivités, ce ne sont pas tout à fait ces dispositifs-là qu'il
02:41faudra employer.
02:43En particulier, l'Adynum développe Albert, qui est une solution ouverte d'IA générative
02:48et qui peut être intégrée ou adaptée selon les usages.
02:51C'est là-dessus que je vais me concentrer dans la suite de la présentation.
02:54Mais, encore une fois, veillons bien à l'esprit que l'IA générative est une modalité
02:59possible d'IA, et qu'il existe d'autres algorithmes plus légers, peut-être plus
03:05faciles à porter, selon le besoin que vous avez.
03:08Pour ce qui est d'Albert, c'est un produit interministériel.
03:12C'est, dans le premier temps, pour les services de l'État, mais aussi pour les collectivités,
03:18quitte à ce que le travail de mise à jour soit un tout petit peu plus progressif.
03:23C'est basé sur ce qu'on appelle les modèles de fondation.
03:26Des modèles qui sont ouverts, donc l'AMA2, l'AMA3 maintenant, qui ne figure pas sur cette
03:30version des slides, mais qui est le tout dernier modèle qu'on emploie, Amistral.
03:35Ce sont des modèles qui sont open source, qui sont mis à disposition par des grandes
03:40entreprises d'IA, et que nous voulons ensuite spécialiser sur les bases de données qui
03:45vont nous servir.
03:46Le premier emploi d'Albert, c'est de chercher des informations dans des fiches administratives.
03:53Typiquement, les fiches de service-public.fr.
03:57C'est possible d'appliquer le même mécanisme de recherche d'informations sur d'autres bases
04:01de données, à condition de les avoir légèrement préparées à l'avance.
04:05J'y reviendrai un peu après.
04:07Parmi les usages possibles, il y a la recherche d'informations, mais on peut aussi envisager
04:11d'utiliser un modèle comme Albert pour n'importe quel usage qui est possible, avec un modèle
04:16propriétaire comme le serait JPT par exemple, donc utilisé pour préparer des synthèses,
04:22des notes, et comme assistant en général.
04:25Pour ce qui est d'Albert, on a deux modalités de mise à disposition.
04:30Une modalité dans des produits, avec interface, qui vise plutôt à répondre à des besoins
04:37métiers directs.
04:38Et à côté de cette intégration d'un logiciel métier, on a une API qui est ouverte.
04:45Aujourd'hui, pour accéder à l'API, il y a des modalités d'inscription, j'en parlerai
04:49un peu après.
04:50Et à partir de l'API, on peut fournir un compte, comme dans JPT par exemple, et récupérer
04:57en réponse un texte généré.
05:00Et ce texte qu'on envoie dans Providence, ça peut être une instruction.
05:04Par exemple, Albert, peux-tu me rédiger un mail type sur ce sujet ?
05:09Ou peux-tu répondre à telle question sur la base de service-public.fr, etc.
05:14Aujourd'hui, on accompagne notamment, j'y reviendrai un peu après, l'AMCT sur la construction
05:22d'un moteur de réponse, de la recherche d'informations qui cite ses sources, avec
05:28les France Services, qui balayent le territoire, pour répondre aux questions des usagers.
05:34Et donc, à ce stade de l'expérimentation, on a plusieurs dizaines de France Services
05:39participantes aujourd'hui, donc on a de plus en plus qui sont inclus, et c'est possible
05:44d'ailleurs, si certaines collectivités veulent éventuellement associer leurs France
05:49Services à l'expérimentation, je pourrais vous mettre en relation avec l'AMCT.
05:56Il y a quatre briques que je vais développer un petit peu, qui ensemble construisent la
06:01plateforme Albert.
06:02La première sont les modèles, donc modèles ouverts qu'on vient spécialiser.
06:06La deuxième sont les différents produits, y compris l'API qu'on fait à partir de ces
06:11modèles.
06:12Évidemment, le tout tourne sur des données, donc il y a deux types de données, les données
06:16qui permettent de construire les modèles, mais également des données sur lesquelles
06:22on peut faire des recherches, ce qu'on appelle les bases de connaissances.
06:25Et le tout tourne sur une infrastructure souveraine, donc c'est quelque chose d'absolument
06:29essentiel d'avoir en tête, que quand on utilise Albert tel quel, sur les serveurs
06:34de l'adminium, et en ayant une démarche de minimisation des données personnelles, de
06:40protection des secrets, donc on a toute une démarche qui est en cours avec l'ACLIL, avec
06:46l'ANSI pour sécuriser ces aspects-là.
06:51Comment intégrer Albert dans les collectivités ?
06:53Alors, j'espère qu'il y avait plusieurs modalités envisageables, soit une intégration
06:56tel quel, soit un hébergement par les collectivités, et par les acteurs de l'état en général.
07:02Pour l'intégration, dans certains cas d'usage, il va être nécessaire de préparer les données.
07:08Par exemple, si vous voulez qu'Albert puisse répondre à vos questions en citant explicitement
07:12des sources propres à vos collectivités, donc des choses qui dépassent les fiches
07:16service-public.fr, etc., il faut préparer la donnée.
07:20Pour la préparation de la donnée, d'abord il faut prendre un ensemble de textes, structurer
07:26l'information, éventuellement reconstruire un petit peu ces textes, découper en paragraphes,
07:32mettre dans chaque paragraphe le contexte minimal qui permet que chaque paragraphe soit
07:38autoporteur.
07:39Ça, ça correspond à une étape d'enregistrement des données.
07:42Puis, il y a une étape technique qui correspond à la création d'embedding.
07:45On utilise un certain modèle d'IA pour transformer ces paragraphes en nombre, en vecteurs,
07:51et ce sont ces nombres que l'algorithme va ensuite travailler et reconnaître.
07:56Ensuite, pour l'intégration d'Albert via les infrastructures d'Hadinium, vous pouvez
08:02stocker cet embedding sur le serveur d'Hadinium.
08:05Un point vraiment important sur cette préparation de données, c'est qu'en l'état actuel des
08:10ressources d'Hadinium, l'Hadinium peut accompagner sur ce dernier volet le stockage des embeddings,
08:16peut fournir des guides sur les méthodes de préparation des données, mais l'Hadinium
08:20ne sera pas à même d'engager des ressources pour préparer elles-mêmes les données qui
08:24seraient propres à des collectivités.
08:26Donc, on arrivera à un bout de chaîne, mais on peut vous fournir des guides.
08:29Ensuite, il y a un deuxième aspect.
08:31Indépendamment de la préparation de la donnée, il y a l'accès via API au serveur d'Hadinium
08:36pour faire tourner les modèles et faire tourner les produits.
08:40Donc là-dessus, c'est pareil pour l'accès à ces modèles.
08:43On a mis en place un formulaire qui nous permet de collecter des demandes des administrations
08:49et des collectivités et les prioriser.
08:51Donc, on fait une ouverture progressive d'Albert avec trois points de contact.
08:56Richtan qui est la tête du Data Lab d'Hadinium, Raphaël Bévenaud qui est le point de contact
09:02qui sera le point de contact privilégié pour les collectivités.
09:04Et donc, moi-même, Pierre-Etienne Devineau qui travaille au développement d'Albert en général.
09:09Chaque ensemble de questions, on les note bien et on les prendra dès la fin de la présentation.
09:15L'autre modalité, c'est d'héberger Albert sous vos propres infrastructures.
09:19C'est possible puisque les codes sources des produits Albert sont verts,
09:23parce que les modèles sont également verts.
09:26Donc, c'est possible de faire un redéploiement.
09:28C'est une mise en œuvre qui est plus lourde évidemment que l'intégration,
09:32l'utilisation directe de l'API d'Albert et l'intégration de vos données sur les serveurs d'Hadinium.
09:37Donc, c'est une solution qui va être adaptée à certaines situations.
09:39Par exemple, si vous avez des données confidentielles ou si jamais vous avez les ressources techniques
09:46qui vous permettent de faire ce déploiement et que vous voulez, en quelque sorte,
09:50modifier le fonctionnement de l'API, c'est possible.
09:53Je recommanderais quand même plutôt de vous appuyer sur l'API de Hadinium.
09:58Si ce sont des données ouvertes et qu'en termes de temps, j'ose dire, ça fonctionne bien.
10:05Donc, si dans un premier temps, vous pouvez préparer vos données et les partager à Hadinium,
10:08pour qu'Hadinium les intègre à l'API, ça peut être une bonne solution.
10:11Que vous utilisez l'API d'Hadinium et qu'ensuite, vous élaboriez éventuellement vos propres produits,
10:15vos propres interfaces qui viennent les utiliser.
10:19Maintenant, je vais rentrer, je vais attaquer le fond technique d'Albert.
10:23Il y a certaines explications qui seront peut-être beaucoup trop poussées pour certaines participants.
10:30C'est normal. Sur les slides qui vont suivre, je vais vraiment m'adresser à un public
10:36qui voudrait rentrer dans le cœur de la machine.
10:38Et ensuite, on repartira sur quelque chose d'un peu plus générique.
10:42Pour expliquer les modèles qui sont derrière Albert.
10:44Déjà, Albert, en l'état, ce n'est pas un modèle qui a été construit à partir de rien.
10:49Je disais tout à l'heure que ce sont des modèles qui sont construits à partir des principaux modèles,
10:53Lama 2, Lama 3, Mistral 7, qui sont des modèles ouverts.
10:56Et on vient transformer ces modèles en leur donnant à voir des bases de données.
11:01Ce qu'on appelle les bases de données de fine tuning.
11:03Dans notre cas, ce sont des messages, des ordres, en quelque sorte, écrits en texte.
11:07Comme, peux-tu répondre à cette question en te basant sur cette source, etc.
11:13Une fois qu'on a donné ces instructions aux modèles pendant ce qu'on appelle la phase d'apprentissage,
11:18le modèle sera à même, à l'avenir, quand on lui pose le même ordre, d'y répondre de la même façon.
11:24Ou d'une façon similaire.
11:26Le but, c'est que le modèle développe la capacité de répondre à ce genre d'ordre.
11:32Ce n'est pas nécessaire, si vous changez les données dans Albert, de refaire cette étape de fine tuning.
11:39Si jamais vous voulez toujours donner le même type d'ordre, vous pouvez garder ces ordres un peu génériques.
11:46Par contre, il y a une chose qui va changer, j'y reviendrai après.
11:49Ce sont ce qu'on appelle les bases de connaissances.
11:51Ce sont les sujets sur lesquels vous voulez l'interroger très précisément.
11:56Aujourd'hui, les modèles sont ouverts. Ils sont sur l'espace qu'on appelle Hugging Face.
12:00C'est la plateforme où l'on peut trouver des modèles ouverts en général, qui viennent du public, du privé, etc.
12:06Pour l'évaluation des modèles, on a plusieurs modalités.
12:09Elles sont complémentaires, et prises isolément seraient très imparfaites.
12:13D'abord, une modalité première, c'est l'évaluation humaine des textes générés par Albert.
12:20Les utilisateurs, par exemple, ceux de France Service, peuvent mettre des plus-1, moins-1 sur les propositions qu'on leur fait.
12:28Pareil, on travaille avec la Direction de l'information légale administrative,
12:32et on va beaucoup plus travailler avec eux à l'avenir sur ce genre d'évaluation.
12:37On a des évaluations automatiques, dont le modèle peut s'évaluer lui-même,
12:43et on peut aussi comparer les textes générés avec le modèle, avec les textes idéaux qu'on aurait voulu récupérer.
12:52C'est quelque chose de pointu, cette évaluation, mais qui est cruciale pour savoir quel modèle utiliser,
12:57et savoir quelle confiance donner à ces modèles.
13:01Sachant qu'une chose que vous avez peut-être en tête, c'est que ces modèles de langage, de manière générale,
13:07sont capables de faire des erreurs, ce qu'on appelle des hallucinations.
13:10C'est un paradigme assez particulier de travailler avec des modèles qui peuvent faire des erreurs,
13:14et c'est aussi une des raisons pour lesquelles on met en place ce mécanisme de sources officielles,
13:21et d'instructions pendant le modèle, en disant « Réponds à cette question basée uniquement sur ces sources officielles. »
13:27C'est une manière de minimiser les erreurs sans les faire disparaître totalement.
13:30On travaille en ce moment à des mécanismes pour mieux reconnaître les erreurs possibles,
13:36de sorte à les prévenir et, si possible, faire disparaître.
13:41Ce mécanisme de réduction des erreurs possibles, c'est ce qu'on appelle le RAG,
13:47pour en anglais « Retrieval Augmented Generation »,
13:49donc génération augmentée par « Retrieving », disons par découverte de la bonne information.
13:59En fait, c'est un concept qui consiste, d'abord quand le modèle reçoit une question,
14:04à trouver la bonne source qui permet d'y répondre.
14:07Donc on prend la question, le modèle essaie de comprendre ce qu'elle signifie,
14:12il compare à toute la base de données, toute la base de connaissances qu'il a,
14:17il identifie les sources qui ont l'air de parler du même sujet que la question,
14:20et il y renvoie. C'est ce qu'on appelle le retrieval, c'est ce qui donne le R dans RAG.
14:24Et ensuite, une fois que ce retrieval est fait, on met ces sources jugées pertinentes
14:31dans le texte, le prompt ou « Invite » en français du modèle,
14:36et le modèle fait la synthèse des sources qu'on lui a fournies pour répondre à la question.
14:42Cette étape de retrieval, ça correspond aux étapes 1 à 3,
14:46et la génération, c'est la dernière étape.
14:49Pour faire le retrieval, il faut avoir préparé les données, c'est ce que dit le 1,
14:52et avoir fait l'étape d'embedding que je mentionnais tout à l'heure.
14:55C'est l'étape numéro 2, vectorisation et embedding sont les synonymes.
14:59Et ensuite, étape 3, on fait ce retrieval, on associe à la question,
15:06on associe les meilleures sources basées sur ces fameux embeddings.
15:12Maintenant, un focus sur les différents produits.
15:17En l'état, on a 4 produits en construction.
15:21Et d'autres qui sont en prototypage.
15:24Pour les produits en construction, on a le travail en co-construction avec France Service,
15:31que je mentionnais tout à l'heure.
15:33Le réseau France Service, ces guichets dans lesquels les usagers peuvent se rendre
15:38pour être accompagnés par les agents publics France Service.
15:42Ce qui a été mis en place, c'est un outil de recherche d'information.
15:47Je ferai une très rapide démonstration tout à l'heure.
15:52On travaille en ce moment à la mise à disposition progressive d'Albert dans le chat,
15:58sous forme d'un chatbot, qui sera lui toujours basé sur les sources,
16:03service public.fr, etc.
16:05C'est un point assez essentiel à avoir en tête,
16:08c'est que si on veut utiliser Albert comme moteur de recherche d'information,
16:11comme chatbot, avec le mécanique que je vais expliquer,
16:15il ne pourra chercher que dans les sources qu'on aura préparées.
16:19Et plus on met de sources, plus l'outil va devenir polyvalent.
16:22Donc, il y a un vrai gain pour tout le monde à préparer des sources
16:25et à les mettre en commun.
16:27On a Albert Chat, qui est des interfaces de chat faites à la Dynium
16:31et qui sont également bêta testées à la Dynium,
16:33qui visent la même chose que le chatbot dans le chat.
16:38C'est vraiment chatté avec Albert pour rechercher des informations.
16:41Et on a l'API, qui est beaucoup plus générique,
16:45qui permet de générer des textes, de faire l'étape de retrieval,
16:49de faire l'étape d'embedding,
16:52donc vraiment de préparer la donnée de A à Z
16:55et ensuite de pouvoir l'utiliser.
17:00La démonstration, peut-être que je la ferai un peu après,
17:02puisque ça m'obligerait à changer d'écran.
17:04Je la ferai peut-être en fin de présentation.
17:07Donc, focus sur l'API, très rapidement.
17:10Alors oui, je vois la question.
17:12Je vais la prendre en direct, puisque ça permettra d'interpréter.
17:15Ce que je viens de dire, chat, c'est la messagerie instantanée des agents.
17:19Si je vulgarise, c'est un peu le WhatsApp des agents publics.
17:23Et le but, c'est de mettre Albert en chatbot dans chat,
17:28comme ça, on peut converser avec lui,
17:30comme on converserait avec un bot dans WhatsApp.
17:33L'API, aujourd'hui, elle est mise en discussion en best effort.
17:36Ce qui signifie que nos engagements en ce moment
17:38ne sont pas des engagements tout à fait de production,
17:41puisqu'on ira progressivement vers des engagements de production.
17:44Mais pour l'instant, c'est en réalité un projet qui est encore neuf.
17:47C'est-à-dire qu'il a commencé complètement il y a un peu plus d'un an.
17:50Et on travaille sur tous les aspects.
17:53Modèles, produits, API, préparation de données.
17:57Nous, avec une petite équipe, une quinzaine de personnes,
18:00si je compte uniquement l'équipe de développement technique,
18:03il y a beaucoup plus d'agents qui participent aux travaux.
18:07Donc, ça ne nous permet pas de tout faire à la fois.
18:09C'est pour ça qu'on a, sur l'API, grosso modo,
18:12quand on vous donne les accès, vous avez la garantie de pouvoir
18:15l'utiliser dans la limite des quotas qu'on vous indique.
18:18Mais il y a parfois quelques-uns à disponibilité.
18:21On travaille à les minimiser.
18:24L'API permet de préparer les données.
18:27Il y a une documentation qu'on est en train de modifier, d'ailleurs,
18:30qui est sur le lien que je vous ai indiqué là.
18:33Et, évidemment, là, on a de nouveaux serveurs qui sont arrivés
18:36qui vont nous permettre d'augmenter beaucoup les capacités d'Albert.
18:39Et c'est aussi une chose qui nous permettra d'accélérer
18:42progressivement dans la mise à discussion
18:45à des administrations, à des collectivités.
18:48En l'état, l'infrastructure peut être un facteur limitant.
18:53Très rapidement, pour faire un retour d'expérience
18:56sur Albert France Service.
18:59Donc, la définition d'Albert France Service
19:02a été faite en envoyant une chercheuse utilisateur
19:05qui a travaillé pendant trois semaines
19:08dans des maisons d'Albert France Service.
19:11Donc, elle s'est rangée sur place.
19:14Elle a assisté à des entretiens.
19:17Et à partir de ces observations,
19:20elle a fait trois propositions aux agents.
19:23Et les agents et la NCT ont retenu la première
19:26qui était de faire une interface pensée
19:30pour la préparation de rendez-vous.
19:33Celle que je vous montrais tout à l'heure.
19:36Donc, une interface où on pose des questions
19:39et où Albert propose des réponses et renvoie les informations pratiques
19:42associées au territoire.
19:45Donc, là, c'est cette étape-là que je décris.
19:48C'est un développement qui est agile.
19:51Autrement dit, on fait régulièrement des bises à jour
19:54avec France Service. On propose de nouvelles interfaces,
19:57donc c'est quelque chose de très vivant.
20:00La montée en puissance dans France Service
20:03se fait aussi en fonction des retours et des versions.
20:06Et les expérimentations qu'on a faites
20:09avec France Service ont aussi dirigé
20:12le design des autres produits et le design des modèles.
20:15Donc, il faut vraiment avoir en tête que tout se passe
20:18un peu en même temps. L'expérience en France Service,
20:21la création des modèles, donc c'est très dynamique
20:24et ça change forcément.
20:27Le tout est open source, donc les codes, les modèles,
20:30les données, et on en est encore au début de la stratégie open source
20:33au sens où on peut aller beaucoup plus loin sur le travail collaboratif,
20:36donc notamment sur la préparation des données, ce que je pensais tout à l'heure.
20:39Plus il y a de données, plus le modèle est polyvalent.
20:42Donc, on sera ravis d'intégrer d'autres données
20:45dans Albert, mais donc sous la réserve que je pensais tout à l'heure
20:48qu'on ne pourra pas faire nous-mêmes le travail de préparation des données
20:51parce que ça échouera aux administrations et aux collectivités
20:54à partir des guides qu'on pourra fournir.
20:57Sur les données en elles-mêmes, donc le plus important,
21:00c'est ce qu'on appelle les bases de connaissances pour tous les cas d'usage
21:03qui relèvent à la recherche d'informations.
21:06Grosso modo, c'est le mécanisme qui dit que vous voulez
21:09qu'Albert réponde à une question en disant uniquement
21:12telle source officielle. Et donc, il faut que telle source officielle soit dans sa mémoire
21:15et c'est aussi cette nécessité
21:19d'avoir toujours des sources de données à jour et de qualité
21:22qui fait progresser en interne sur la gouvernance
21:25des bases de connaissances. Et dans certains cas,
21:28ça peut être utile de retirer dans le premier temps
21:31des éventuelles données à caractère personnel.
21:34Donc, le cas échéant, il faut mettre en place
21:37ces mécanismes de minimisation.
21:40Et à côté de ça, on a des données, mais qui sont probablement un peu plus
21:43anecdotiques dans votre cas, qui sont les données d'apprentissage.
21:46On peut modifier radicalement le fonctionnement d'Albert,
21:49ce qui ne sera peut-être pas votre cas, mais on va voir ça dans l'instant.
21:52Et donc, dans ce cas-là, nous ce qu'on fait, c'est qu'on crée
21:55des instructions type, des ordres,
21:58que je mentionnais tout à l'heure, pour orienter le modèle.
22:01Si vous vouliez un fonctionnement d'Albert très différent, il faudrait lui indiquer
22:04d'autres ordres type. Et à la limite, c'est quelque chose
22:07qu'on pourra creuser avec les personnes que ça intéresse.
22:10Le tout tourne sur une infrastructure mutualisée,
22:13donc les serveurs avec cartes graphiques dont je parlais tout à l'heure,
22:16et qui sont aujourd'hui en baisse et forte.
22:19Et c'est en fait un des intérêts
22:22d'utiliser l'offre d'Albert, c'est de pouvoir tourner,
22:25d'utiliser les modèles, ces cartes graphiques-là,
22:28ces serveurs, plutôt que de créer votre propre infrastructure.
22:31Et certaines collectivités qui pourront se permettre
22:34de créer leur propre infrastructure onireuse,
22:37si elles y trouvent un intérêt suffisant à opérer le modèle en lui-même,
22:40mais pour des collectivités au moyen peut-être plus modéré,
22:43l'intérêt d'une offre mutualisée est assez clair.
22:46Et donc pour conclure, avant de pouvoir vraiment échanger
22:49ensemble,
22:52l'IA génératif c'est quelque chose qui a un fort potentiel
22:55dans la recherche d'informations,
22:58dans la génération de textes, pourquoi pas
23:01la création de brouillons pour répondre à des questions types.
23:04Il est ensuite à ce que les agents soient évidemment toujours
23:07les maîtres, et on insiste vraiment là-dessus, que ce soit un assistant
23:10pour les agents plutôt qu'un guide de conduite.
23:13Mais l'IA génératif n'est qu'une modalité
23:16possible de l'IA, donc elle est à mettre en balance,
23:19à comparer avec des modalités peut-être plus simples à mise en oeuvre.
23:22Par exemple, il y a certains cas où le certain mécanisme
23:25de retrieval que je pensais tout à l'heure, donc le fait pour une question
23:28de trouver les bonnes sources dans un ensemble de cas d'usage,
23:31ce mécanisme facile à mettre en place
23:34peut être suffisant. Donc avant d'avancer
23:37clairement sur l'IA génératif, il va falloir bien se poser
23:40la question de la complexité
23:43à mettre en relation avec l'avantage qu'on en tire.
23:46L'avantage de l'IA génératif étant quand même qu'on
23:49a une interaction sous forme de texte. Donc on pose une question
23:52en français et on a la réponse en français.
23:55D'ailleurs ça pourrait aussi être fait dans d'autres langues, il se trouve que dans Albert,
23:58on essaie de favoriser le fait que le modèle parle français,
24:01mais il peut aussi parler dans d'autres langues, étant donné que c'est un modèle
24:04qui a été basé sur l'AMA2, l'AMA3, etc.
24:07Des modèles qui ont vu beaucoup de langues initialement.
24:10Donc selon vos besoins, un déploiement
24:13chez vous ou l'API, et je pense que dans la majorité des cas,
24:16ce sera le cas, ce second cas, l'API d'INUM peut vous arranger
24:19et la suite j'insiste, mais sur la préparation
24:22des données, dans les médias, l'équipe étalable de l'ADINUM
24:25ne pourra pas apporter davantage d'aide que le partage
24:28d'un guide sur l'étape de préparation des données, mais une fois que la donnée est prête,
24:31on pourra l'intégrer sur le serveur pour qu'on puisse l'utiliser
24:34à travers l'ADINUM.
24:37Avec ça, je vais conclure
24:40cette partie de présentation
24:43et on peut enchaîner sur l'ensemble des questions
24:46que vous avez commencé à poser.
24:52Première question,
24:55une question qui était posée sur
24:58Langchain et les mécanismes de RAG.
25:05Albert utilise bien les mécanismes de RAG,
25:08en l'occurrence, ce n'est pas la bibliothèque Langchain qui est utilisée,
25:11mais c'est vraiment cette idée-là.
25:14D'abord, on fait une première étape où on trouve les informations, puis une deuxième étape
25:17séquentiellement, où on y répond.
25:20Autre question,
25:23Albert utilise-t-il un système de RAG avancé, technique de re-ranking ?
25:26Autre question bien précise,
25:29base de données graphes, gestion de données multimodales ?
25:32Un RAG avancé, du coup,
25:35pas tout à fait. C'est un RAG,
25:38disons que ce serait plus un RAG basique, basé sur les sources officielles.
25:41Pour ce qui est des bases de données graphes, non.
25:44C'est vraiment du texte pur canalisé.
25:47Par contre, dans le texte pur, on peut avoir des métadonnées
25:50qui sont passées sous forme de phrases.
25:53Donc les métadonnées sont transformées en texte.
25:56Par exemple, une métadonnée sur une administration, on va dire,
25:59l'administration concernée est de point machin,
26:02et donc pas de graphes directement.
26:05On passe toujours par le biais du texte.
26:08Pas de multimodales, en l'occurrence, on est sur du texte pur,
26:11et le re-ranking, pas en production.
26:14On expérimente le re-ranking en R&D,
26:17c'est un peu lourd en termes de calcul.
26:20On envisage de le passer en production, mais ce n'est pas encore tranché,
26:23on est encore en train d'évaluer.
26:26Est-ce qu'il y a un risque de fuite de données à vieilleter sur le modèle ouvert ?
26:29Non, il n'y a pas de risque, tel qu'on le sait, non.
26:32Les modèles tournent sur les serveurs de l'admin,
26:35et il peut y avoir, on peut hermétiser
26:38les bases de connaissances qui sont utilisées.
26:41En fait, on peut gérer au niveau de l'API,
26:44que seulement un secteur de tel endroit puisse avoir accès
26:47à telle base de connaissances.
26:50Ce n'est pas tout à fait le mécanisme qui est en place aujourd'hui,
26:53mais c'est le mécanisme qu'on peut mettre en place,
26:56de sorte que des données ne pourraient être vues qu'à l'administration
26:59qui a le droit d'en connaître.
27:02Il pourrait y avoir théoriquement des fuites de données via les corpus d'apprentissage,
27:05mais ce ne sera pas le cas non plus dans la mesure
27:08où nos ordres de type d'apprentissage sont tous pensés sur des données ouvertes.
27:11Le tout tourne sur serveurs souverains,
27:14donc pas de fuites de données à l'étranger
27:17ou sur des serveurs non contrôlés.
27:23Question, RAG pour les données spécifiques à FIACollectivité ?
27:26En fait, c'est un peu toute la question, ça dépend de votre cas d'usage.
27:29Aujourd'hui, notre RAG est générique et national,
27:32la mesure est portée sur ServicePublic.fr, l'équivalent
27:35pour le droit du travail, etc. Si vous voulez faire un RAG spécifique
27:38à vos données, avec grand plaisir, vous pourrez utiliser
27:41d'ailleurs les interfaces de l'addidum, mais la condition
27:44pour ça, c'est d'avoir préparé la donnée, et donc si je rentre un tout petit peu
27:47dans le côté technique, ça revient à faire un chunking, un découpage
27:50des textes intelligents, et à faire l'étape d'embedding
27:53pour nous fournir directement le fichier d'embedding
27:56ou au moins le fichier de chunk.
27:59On n'a pas besoin de faire ce travail de mise à jour des chunks.
28:02C'est pour ça qu'on a mis en place le formulaire, vous aurez le lien
28:05du formulaire et la présentation pour discuter
28:08de cette modalité de préparation des données.
28:11L'intégration qu'on laisse à la main des collectivités.
28:14Est-ce que le contexte est propre ? Oui, on y a répondu.
28:17Comment est géré le multilangue ?
28:20Le multilangue aujourd'hui...
28:23Les capacités des modèles Lama 2, Lama 3, Mistral
28:26permettent le multilangue en anglais.
28:29Pas dans 10 000 langues non plus, la qualité du texte est très inégale.
28:32Au moment où on vient spécialiser Albert,
28:35on le spécialise avec des données françaises,
28:38Albert va avoir tendance à parler français.
28:41Il ne perd pas sa capacité à parler en anglais,
28:44mais il aura une nette préférence pour le français.
28:47Mais il pourra toujours parler anglais, allemand,
28:50les langues plus rares, c'est plus incertain.
28:53Pour des cas d'usage de traduction,
28:56anglais-français, ça marchera bien.
29:00Est-ce qu'il est obligatoire d'avoir un corpus de données structurées ?
29:03Ça dépend de l'usage que vous avez.
29:06Si vous voulez utiliser Albert pour poser des questions
29:09sur serviceblog.fr, on a déjà fait le travail de structuration.
29:12Si vous voulez l'utiliser pour rédiger des mails types,
29:15ce sont des choses que les modèles de langage derrière savent déjà faire,
29:18ils n'ont pas besoin de préparer de corpus.
29:21Le cas où vous avez besoin de préparer un corpus,
29:24c'est si vous voulez faire de la recherche d'informations sur vos propres données.
29:27C'est vraiment le seul cas que je vois.
29:30C'est un corpus qui est structuré au sens où vous avez déjà découpé les textes
29:33et que vous avez enrichi, mais pas structuré au sens
29:36où il n'y a pas besoin des bases de données, SQL, etc.
29:39C'est vraiment du texte.
29:42Les compétences nécessaires pour héberger Albert ?
29:45Estimation de la chaire de travail de ressource nécessaire pour l'installer et le maintenir ?
29:48Pour le déployer, les métiers concernés
29:51sont des métiers de DevOps, de Data Engineer
29:54et aussi de Data Scientist.
29:57Pour comprendre comment fonctionne le modèle, l'améliorer, maîtriser les promptes.
30:00Ça le maîtrise quand même d'avoir une palette.
30:03L'hébergement et les évolutions de l'Albert pour vos équipes
30:06nécessitent quand même d'avoir une palette de compétences assez large.
30:09L'estimation de la chaire de travail,
30:12c'est...
30:15Si vous avez déjà une équipe avec des profils DevOps,
30:18Data Engineer, etc., c'est une chaire de travail relativement modérée
30:21qui peut être cumulée avec leurs fonctions actuelles.
30:24Mais,
30:27disons quelques semaines pour
30:30le déployer, pour comprendre comment le faire fonctionner,
30:33tout fonctionne aujourd'hui par Docker.
30:36On est en train de le faire évoluer progressivement vers Kubernetes.
30:39Et si vous n'avez pas d'équipe
30:42suffisamment importante, par contre,
30:45ça sera trop coûteux de mettre en place une équipe à partir de rien.
30:49Une question sur le chunk size le plus optimal.
30:52Une question très précise.
30:55Ça dépend du moteur d'embedding derrière,
30:58mais disons, dans l'ensemble,
31:01moins de 500 tokens.
31:04Si on prend E5, je rentre vraiment
31:07beaucoup dans le détail là, le moteur d'embedding E5,
31:10ça sera plutôt 200-300 tokens, le moteur d'embedding Beige plutôt 500 tokens.
31:13Alors, sur les lois,
31:17est-ce que les codes de lois sont directement intégrés
31:20aux sources de données ?
31:23Pas directement. Ce qu'on intègre aujourd'hui sont des fiches
31:26vulgarisation du droit.
31:29Donc, service.fr, les fiches au droit du travail, etc.
31:32Et c'est vraiment ça qu'on cible.
31:35Des choses qui sont déjà pensées par des professeurs du droit
31:38et par des rédacteurs et qui sont directement
31:41interprétables, y compris interprétables par la machine.
31:44Interpréter directement le code de loi, c'est beaucoup plus complexe
31:47parce que ça demande aussi de comprendre comment s'articulent les articles
31:50les uns avec les autres, donc ça demande d'ajouter d'autres
31:53briques technologiques en plus. Et ce n'est pas quelque chose sur lequel
31:56on va se diriger pour l'instant. On va vraiment rester sur
31:59ces sources vulgarisées.
32:02Quel ordre de grandeur pour une infra hébergée en termes de GPU ?
32:05Pour faire tourner le modèle,
32:08il faut compter environ, ce genre de modèle,
32:11on va dire à peu près 20Go de mémoire
32:14virtual RAM, donc de RAM de GPU.
32:17Donc à partir de là,
32:20il vous faut, en fait,
32:23si je vais donner des noms de marques, il y a d'autres marques qui sont possibles,
32:26si on prend par exemple les cartes graphiques Nvidia,
32:29une Nvidia V100 est le minimum nécessaire,
32:32une Nvidia A100 à 40Go
32:35est plus confortable pour faire tourner un modèle, et si vous voulez faire tourner
32:38plusieurs modèles similaires sur la même machine
32:41pour pouvoir les traiter en parallèle avec une carte A100
32:44à 80Go, vous pourriez faire tourner deux ou trois modèles en parallèle.
32:47Donc ça, ça va vous mettre en relation
32:50avec le coût d'achat ou le coût
32:53de location de ces machines. En réalité,
32:56si vous n'avez que quelques centaines ou
32:59milliers d'utilisateurs quotidiens,
33:02une carte graphique A100 peut tout à fait faire l'affaire.
33:05Il n'y a pas d'économie d'échelle à ce niveau-là, mais c'est suffisant pour votre nombre d'utilisateurs.
33:08En tant que dinhume, on essaye de mutualiser,
33:11ce qui est un intérêt global, mais à l'échelle d'une collectivité,
33:14une A100 fait tout à fait l'affaire.
33:17Vous pouvez partager le guide de préparation des données, oui, il vous sera partagé.
33:20On est en train de continuer à le travailler, il vous sera partagé quand il sera prêt,
33:23ce qui sera bientôt.
33:26Donc la gestion de la charge, les coûts.
33:29Donc la gestion de la charge,
33:32aujourd'hui, on passe par une bibliothèque,
33:35c'est une question extrêmement technique,
33:38qui s'appelle VLM,
33:41qui nous permet
33:44d'envoyer un grand nombre de requêtes sur un modèle.
33:47Il y a une gestion des batchs qui permet d'optimiser ça.
33:50Donc ça, c'est pour gérer une instance du modèle.
33:53Ensuite, si on veut encore passer à l'échelle
33:56et gérer plusieurs modèles voisins les uns des autres,
33:59on met chaque modèle dans un conteneur VLM
34:02et on utilise une API qui les distribue.
34:09Alors, quelle autre question maintenant ?
34:15Alors,
34:18donc la question, comment se passe, on a déjà répondu.
34:21Peut-on faire un Albert spécifique pour ma collectivité
34:24en se basant sur mon lieu par exemple ?
34:27Oui, tout à fait.
34:30En fait, si vous avez des données spécifiques au travail prêt
34:33qu'on a mentionné tout à l'heure,
34:36on peut faire un Albert spécifique pour ma collectivité dans ce sens-là.
34:39Et si jamais il y a des informations qui sont spécifiques à un lieu
34:42et que ces informations sont déjà présentes dans service-public.fr,
34:45vous pouvez préciser dans l'invite,
34:48je suis dans telle région, je suis à tel endroit,
34:51en reprenant les mêmes termes que ceux qui auraient été employés dans service-public.fr,
34:54pour qu'Albert cible bien la même source d'employés.
34:59Il est indiqué qu'Albert est disponible en open source.
35:02Pouvez-vous nous appuyer sur une USN locale pour prolonger votre travail ?
35:05Oui, bien sûr.
35:08Donc c'est tout à fait possible de récupérer Albert en open source
35:11et de s'appuyer sur une USN locale, un intégrateur
35:14pour faire la préparation des données
35:17ou se brancher à l'API.
35:20Donc s'il y a des compétences techniques que vous n'avez pas directement dans vos équipes
35:23dans lesquelles vous pouvez avoir accès via l'intégrateur privé,
35:26évidemment que c'est possible.
35:29Avec cette approche-là, il ne manquera pas grand-chose.
35:32L'intégrateur pourra fournir les volets données et connexion à l'API
35:35tout ce dont vous avez besoin, avec éventuellement des frontes spécifiques
35:38si c'est pertinent pour vous.
35:41On peut tout à fait envisager que vous fassiez appel à un intégrateur
35:44qui vous aide, qui prépare les données avec vous
35:47et qui ensuite vous aide à vous brancher à l'API
35:50sur un de nos frontes, un de nos interfaces, si ça vous convient
35:53avec les données qui auraient été préparées par l'intégrateur.
35:56Ensuite, on a plusieurs questions sur des demandes de contact
35:59et sur ces demandes de contact, on va revenir vers vous.
36:04Et je te laisse la main sur les demandes générales sur Albert.
36:07Donc, quelle calendrier pour la mise à disposition d'Albert dans le service de l'État ?
36:10Alors, c'est une mise à disposition.
36:13La mise à disposition est progressive.
36:16On continue de monter en puissance sur tout le sommet 2024
36:19et ce qui est très intéressant, c'est que devant le très grand nombre de demandes
36:22qui parfois demandent des personnalisations,
36:25on a mis en place via le formulaire un mécanisme
36:28qui nous permet de collecter des demandes et les prioriser.
36:31Donc, ça ne sera pas forcément au courant 2024,
36:34ça ne sera pas forcément une ouverture
36:37à strictement tous les services de l'État,
36:40ça sera une ouverture progressive à partir des demandes
36:43qui seront faites via le formulaire.
36:47Non, les pilotes France Service sont tous en métropole.
36:50Si certaines collectivités veulent se rapprocher de l'ANCT,
36:53je pourrais évidemment faire la mise en contact.
36:59Quel est le score obtenu par le modèle sur le test automatique ?
37:02Ça dépend de la tâche.
37:05Ça dépend du périmètre.
37:08En fait, on a mis en place plusieurs tests et plusieurs périmètres.
37:11Donc, ce que je peux vous dire là-dessus,
37:15c'est que c'est plus le côté relatif
37:18entre différents modèles qu'on a observés et qui est le même.
37:21Donc, à savoir que notre modèle basé sur l'AMA3
37:24est meilleur que le modèle basé sur l'AMA2
37:27et que l'étape de personnalisation, de fine tuning, de spécialisation,
37:30qu'on a faite, améliore la performance des modèles.
37:33Aujourd'hui, si on prend le périmètre France Service,
37:36donc sur les opérateurs qu'on a testés,
37:39notre test automatique nous donnait à peu près
37:4270-80%, mais ce ne sont pas des choses
37:45qui sont aussi interprétables que ce que ces chiffres suggèrent.
37:48Ça veut dire que le modèle est capable
37:51de reconnaître qu'il a lui-même bien répondu précédemment
37:54dans 70 ou 80% des cas.
37:57Donc, c'est une mesure qui...
38:00En fait, chacun des tests automatiques nous permet d'auditer une partie du modèle
38:03et c'est considéré l'ensemble des mesures
38:06qui nous permettent de faire notre comparaison.
38:10Alors...
38:13Y a-t-il un modèle sur base prédictif ?
38:16Y a-t-il un modèle sur base prédictif complétion de phrases ?
38:19En fait, fondamentalement, tous ces large language models
38:22sont des modèles de complexion de phrases.
38:25Aujourd'hui, quand on les utilise,
38:28on les a forcés à
38:31compléter les phrases via des réponses.
38:34Donc le début de phrase, c'est une question, la fin de la phrase, c'est une réponse.
38:38On peut utiliser le même mécanisme pour faire de la complétion de phrases, tout à fait.
38:41Je ne sais pas s'il y a un cas d'usage particulier en tête.
38:44Si besoin,
38:47Julie ou une garçonne qui serait intéressée peut préciser
38:50dans le chat.
38:53Mais de manière générale,
38:56dans le prompt d'Albert, vous pouvez lui dire
38:59« j'aimerais bien que tu complètes cette phrase avec telle information ».
39:02Et c'est une chose que
39:05peut-être pour ce cas d'usage, il vaut le coup de prendre un exemple concret.
39:08Mais c'est une chose qu'Albert pourrait faire, oui.
39:15Les guides d'entretien utilisés pour l'enquête d'identification des besoins
39:18France Service sont-ils disponibles ?
39:21Non. La NCT les a et nous les avons.
39:24Mais on n'a pas forcément prévu de les publier.
39:27Par contre, ce qu'on peut faire,
39:30effectivement, c'est
39:33communiquer plus précisément sur les entretiens
39:36et la méthode qui a été utilisée.
39:39On peut mettre en place une communication sur le sujet.
39:42On le fera.
39:45Effectivement, c'est quelque chose qui peut servir pour beaucoup d'autres cas d'usage.
39:52Sur les hallucinations judiciaires,
39:55en utilisant l'AMA 2 et l'AMA 3, est-ce qu'on n'a pas peur que le modèle hallucine
39:58avec le système américain ?
40:02Oui.
40:05Le système américain permet vraiment d'empêcher ça.
40:08Ce système où on donne à voir les textes français,
40:11c'est une très bonne protection contre ce système.
40:14Je ne vais pas préciser,
40:17mais au moment de l'entraînement d'Albert,
40:20on lui a aussi appris que si jamais il ne trouve pas dans ses sources de confiance
40:23la bonne source,
40:26Albert doit répondre « je n'ai pas la bonne source,
40:29il ne hallucine pas parce qu'on lui a dit
40:32« quand tu ne sais pas répondre, ne réponds pas »,
40:35ce qui n'est pas le comportement par défaut des modèles.
40:38Y a-t-il une volonté de proposer Albert en frontal aux usagers à terme ?
40:41Non. Albert est pensé pour l'agent public et pas directement pour l'usager.
40:44Je vous propose qu'on passe maintenant à la démonstration.
40:52Je vais reprendre les autres questions après,
40:55mais je pense qu'elle sera éclairante.
40:59Je vais d'abord ouvrir avant de faire le partage d'écran.
41:29Je vais mettre un thème clair.
41:47Vous verrez mieux comme ça.
41:50Et c'est le thème sombre.
41:53Quand on se connecte dans Albert,
41:57Albert France Service,
42:00on arrive sur une interface
42:03où on peut retrouver d'une part
42:06toutes les applications métiers spécifiques à France Service.
42:09Est-ce que mon thème sombre se voit bien en partage d'écran ?
42:12Oui, ça a l'air d'aller.
42:15Vous voyez que je travaille avec un écran noir.
42:18Réflexe informaticien.
42:21Sur cette interface, vous trouvez aussi deux onglets qu'on peut creuser.
42:24Un premier onglet, échanger avec Albert,
42:27où l'agent France Service va renseigner
42:30la situation décrite par l'usager.
42:33Pour gagner du temps, on a préparé un exemple type.
42:36Une usagère ne comprend pas le montant d'allocation sociale
42:39qu'elle touche ce mois-ci. On élabore un peu la situation.
42:42C'est lié au RSA et à la CAF.
42:45Le but, c'est de comprendre
42:48si la CAF pouvait faire cette saisie sur RSA
42:51et comment débloquer la situation.
42:54Cet exemple est observé par la chercheuse
42:57lors d'un entretien en France Service.
43:00Dans l'interface France Service,
43:03on donne un nombre de consignes sur comment
43:06saisir l'instruction pour Albert
43:09en indiquant tous les éléments utiles
43:12en ne mettant pas de données à caractère personnel.
43:15C'est une interface qui essaie d'être
43:19aussi autoportreuse que possible.
43:22À part cela, on récupère une fiche
43:25qui contient la question, une réponse d'Albert
43:28et les sources associées.
43:31Pour cette question, les sources associées viennent toutes
43:34de ServicePublic.fr. En cliquant sur la source,
43:37on arrive sur la fiche. On voit aussi sur cette interface
43:40les liens pratiques, les téléservices
43:43de la CAF relative au RSA.
43:46On peut rebondir sur la question
43:49en demandant des précisions et en apportant
43:52des informations supplémentaires.
44:17Albert prend en compte le contexte
44:20qu'on ajoute.
44:23On peut commenter la réponse.
44:26Ce commentaire nous permet de comprendre
44:29dans quel cas Albert est satisfaisant et dans quel cas il ne l'est pas
44:32pour l'améliorer. Il y a un certain nombre de questions types
44:35qui sont proposées par Albert relativement
44:38au sujet de la discussion. Le but, c'est vraiment d'avoir
44:41une interaction qui personnalise
44:44la situation, qui donne toutes les informations
44:47nécessaires à la compréhension de la situation, mais sans
44:50donner de renseignements, sans invoquer
44:53de données à qualité personnelle. Une chose qui est bien
44:56à avoir en tête, c'est qu'Albert, tel qu'on le conçoit, que ce soit dans cette interface
44:59ou dans Tchap, par exemple, est pensé pour de la recherche
45:02d'informations, pas pour prendre des décisions administratives,
45:05mais pour chercher des informations.
45:08Depuis cette interface, l'agent peut aussi retrouver son historique.
45:11Vous voyez que j'utilise toujours le même exemple type.
45:14Et depuis l'historique, l'agent retrouve l'ensemble de la conversation.
45:17Donc là, il y a une page d'aide
45:20qui contient les mentions d'informations
45:23sur comment le modèle est construit, quel niveau
45:26de confiance a accordé Albert, comment préparer
45:29des données, etc.
45:32C'est quelque chose qu'on complète. Et là-dessus,
45:35c'est un des sujets sur lesquels on travaille à la CNIL, de bien
45:38travailler sur les données personnelles
45:41qui sont vues à la fois par le modèle au moment de l'entraînement, mais aussi
45:44toutes les données d'usage qui apparaissent dans l'outil.
45:50Ça, c'est une des interfaces qui existent.
45:53Ce qui est intéressant, c'est que c'est une interface
45:56qui est basée sur une API,
45:59et que vous pouvez aussi directement consommer l'API
46:02avec l'interface de votre choix,
46:05qui sera liée à votre besoin au métier.
46:15Peut-on faire une démonstration où Albert indique qu'il ne peut pas répondre
46:18faute de source sûre ?
46:21Allons-y, on peut le faire dans cette interface-là
46:26ou dans une autre.
46:31Celle-là, ce n'est pas la plus adaptée.
46:35Est-ce que là, on a un prompt qui est lié à France Service ?
46:38Ce n'est pas grave, faisons-le quand même.
46:41Quel exemple ?
46:44Un exemple de sujet
46:47où Albert ne peut pas répondre faute de source sûre ?
46:55Est-ce que c'est un exemple à me proposer ?
47:05Quel est l'âge du capitaine ?
47:08Voilà, donc quel est l'âge du capitaine ?
47:11Albert nous répond, je suis désolé,
47:14mes informations fournies ne mentionnent pas l'âge du capitaine,
47:17je ne peux pas répondre à cette question.
47:20Ah, visiblement, la démonstration a sauté,
47:23donc je la remets.
47:26Donc là, vous pouvez voir que j'ai demandé
47:29l'âge du capitaine à Albert et qu'Albert nous a répondu
47:32qu'il ne savait pas que les informations officielles
47:35ne lui permettaient pas de répondre.
47:46Sur quelles sources s'appuie Albert ?
47:49Aujourd'hui, ServicePublic.fr et Droits du Travail.
47:52Ce sont les deux sources génériques
47:55d'informations légales que nous avons intégrées.
48:02Qu'est-ce que c'est que l'utilisation de données à caractère personnel ?
48:05À la suite d'une ouverture sur l'utilisation d'Albert
48:08pour suite dossier ou de procédure,
48:11nécessitons donc la transmission de données personnelles
48:14en vision client 360° avec potentiellement un branchement
48:17aux sources de données des SI des organisations.
48:20Alors, en fait,
48:23l'utilisage de données à caractère personnel,
48:26c'est vraiment lié à un usage cible.
48:29Ce qui est possible, nous, aujourd'hui,
48:32avec ces API Albert,
48:35c'est vraiment la recherche d'informations.
48:38C'est possible d'utiliser d'autres via l'API Albert.
48:41C'est possible d'utiliser Albert sur d'autres usages
48:44avec potentiellement des données à caractère personnel
48:47mais qui doivent être adaptées à l'usage visé.
48:50Nous, pour notre usage d'informations légales,
48:53ce n'est pas utile, donc on ne le met pas.
48:56La question qui était posée, d'utiliser Albert sur d'autres données
48:59pour un usage où l'utilisation des données à caractère personnel
49:02serait adaptée.
49:05Donc, via l'API, c'est possible,
49:08mais si vous voulez faire ça via l'API,
49:11on vous demande vraiment de vous coordonner avec nous, de nous en parler
49:14pour qu'ensuite, on travaille à la faisabilité juridique de la chose.
49:17Par défaut, via l'interface principale,
49:20via l'API principale,
49:23on ne voudrait que des données ouvertes.
49:26On peut élargir le périmètre, mais à quoi est-ce qu'on va en parler ?
49:29Et on travaillera aussi à la mise en œuvre d'API plus tard
49:32sur des cas, peut-être, des données plus restreintes,
49:35plus confidentielles,
49:38mais dans un second temps.
49:41Est-ce que nous devons des tests à l'aide de la gestion RH à fonction publique ?
49:44Alors, c'est quelque chose qui est envisagé,
49:47qui est en préparation, mais ça n'a pas encore commencé.
49:50Comment réaliser la demande d'accès à l'API ?
49:53Via le formulaire,
49:56qui vous sera partagé et qui était dans la présentation.
49:59Est-il prévu qu'Albert puisse prendre en compte des fichiers PDF ?
50:02À terme, oui.
50:05Aujourd'hui, non. Nous sommes en train de travailler
50:08sur un parseur de PDF qui puisse lire les textes,
50:11les analyser et les découper
50:14pour les mettre en base de connaissances.
50:17Une fois qu'on aura ça, ça facilitera de beaucoup la préparation de données
50:20et ça diminuera beaucoup ce qui est attendu
50:23des collectivités ou administrations qui veulent visiter Albert sur leurs propres données.
50:26Mais pour l'instant, ce parseur de PDF générique
50:29n'est pas encore prêt.
50:37Est-ce qu'Albert gère les fichiers XML et Excel ?
50:40Alors, de manière générale,
50:43les modèles qui sont derrière traitent assez bien
50:46les fichiers CSV.
50:49Donc, si vous lisez ces Excel et XML comme CSV,
50:52Albert pourra interpréter
50:55assez correctement le CSV.
50:58À condition que ce soit un CSV relativement simple,
51:01un vrai CSV. Par contre, un XML ou un Excel avec des tableaux
51:04avec des cellules fusionnées complexes,
51:07là, ce sera plus difficile à interpréter puisque ça ressemble moins à un CSV.
51:10La jurisprudence administrative
51:13est-elle une source de données envisagée ?
51:16Alors, c'est une source de données envisageable,
51:19mais ce n'est pas une source de données qui a été identifiée comme
51:22prioritaire pour nous pour l'instant.
51:25Donc, ça veut dire qu'on ne va pas faire, nous, le travail de préparation
51:28de données sur la jurisprudence
51:31administrative. Par contre, si c'est un cas d'usage
51:34qui intéresse l'administration et que l'administration est prête
51:37à s'engager sur la préparation de ces données,
51:40alors oui, ça aura beaucoup de sens de les intégrer dans Albert.
51:52Merci pour cette démo. Minima, une IA européenne
51:55semble utile. Oui, très clairement. C'est quelque chose
51:58qui est presque parallèle à nos travaux. Aujourd'hui, on propose
52:01la mise à disposition de LLM, nous avons spécialisé
52:04avec les ordres dont je parlais tout à l'heure, et branché à nos bases de données.
52:07Mais à côté de ça, entraîner un modèle européen
52:10ou français, c'est quelque chose qui est extrêmement utile,
52:13indépendamment d'Albert, et c'est quelque chose auquel on
52:16contribue par ailleurs. Il y a également des initiatives européennes sur le sujet.
52:19La DLAL, est-elle associée aux travaux?
52:22Oui, absolument. Elle est associée sur
52:25toutes les parties des travaux, en fait. Elle a été associée
52:28sur l'évolution des modèles et va l'être à nouveau davantage.
52:31Elle est associée sur
52:34la préparation des données,
52:37sur le
52:40développement des modèles, sur la préparation
52:43des données.
52:46Sur la bonne façon
52:49d'utiliser les sources service public.fr.
52:52Donc oui, absolument.
52:55On va prendre peut-être encore
52:58quelques questions avant de conclure.
53:06Alors, il y a des questions sur les fiches actions
53:09d'Alliance. Non, le formulaire qui vous est
53:12soumis là est indépendant des fiches actions
53:15d'Alliance. Les fiches actions d'Alliance,
53:18c'est quelque chose qui est pensé, que je mentionnais rapidement tout à l'heure,
53:21c'est quelque chose qui est pensé pour les administrations de l'État
53:24et les opérateurs, donc pour tous les bénéficiaires
53:27potentiels du Fonds de Transformation de l'Action Publique.
53:30Ça ne concerne pas l'ensemble des collectivités, malheureusement.
53:33Et le processus d'Alliance est un processus
53:36complémentaire du formulaire que vous envoyez.
53:39Le formulaire posté tout à l'heure par Raphaël, c'est pour
53:42accéder à l'API. Le formulaire Alliance,
53:45c'est pour avoir un accompagnement technique et financier
53:48sur un cas d'usage. Donc, les deux arrivent bien à la fin
53:51à la même équipe de l'Adenium, mais comme ce n'est pas pour faire la même chose,
53:54on a deux formulaires distincts.
54:01Alors, il y a une question sur l'empreinte environnementale d'Albert.
54:04On a fait des estimations qu'on pourra partager.
54:07En fait, elle est très légère
54:10en l'occurrence, puisqu'il y a deux choses
54:13qui font l'empreinte environnementale
54:16des gigamodèles, donc des large-angle-wedge modèles.
54:19La première chose, c'est l'entraînement initial. Et la deuxième chose,
54:22c'est la consommation de masse par API.
54:25Dans le cas d'Albert,
54:28on est pour l'instant basé sur des modèles déjà préentraînés.
54:31Donc, l'AMA2, l'AMA3, Mistral, etc.
54:34Nous, on ne fait qu'une étape de spécialisation qui se fait en quelques heures
54:37sur une carte graphique moderne.
54:40Notre état de spécialisation rajoute très peu d'émissions de CO2.
54:43C'est vraiment quelques kilomètres en voiture.
54:46C'est mesuré.
54:49Et pour la partie inférence, on n'est pas du tout dans l'utilisation de masse.
54:52Donc, ça correspond aussi à quelques kilomètres de voiture
54:55par jour pour l'instant, pour l'infrastructure Albert.
54:58Elle a amené à augmenter beaucoup
55:01cette infrastructure, mais lors de grandeur,
55:04ça sera peut-être un facteur 10, 15, 20,
55:07sûrement pas 100. Même à pleine puissance, ça ne sera sûrement pas un facteur 100.
55:10Donc, ça restera quelque chose de très léger
55:13en termes d'empreintes carbone.
55:19Est-ce qu'il est possible d'utiliser la version open source de façon autonome ?
55:22J'ai l'impression qu'il y a toujours une connexion à votre Albert.
55:25Clé, jetons.
55:28Alors, ça dépend.
55:31Dans l'ensemble du package open source, il y a de quoi tout faire de manière autonome.
55:34Il y a plusieurs choses. Il y a ce qu'on appelle le module PyAlbert
55:37qui est un client qui est effectivement lié
55:40à notre API, mais il y a aussi tous les autres codes qui permettent
55:43de déployer une API. Et donc, il suffit d'utiliser
55:46les dossiers API de ce fameux
55:49dépôt open source backend pour redéployer
55:52une API et ensuite de modifier le client PyAlbert
55:55avec l'URL de votre déploiement.
56:02Donc, la question de Sylvain Rival, est-il possible d'accéder à la bêta ?
56:05J'essaie de créer un compte, mais sans succès.
56:08Toutes les demandes, on revoit
56:11toutes les demandes une à une et aujourd'hui,
56:14on a donné des permissions d'accès
56:17à l'API au service
56:20qu'on a priorisé. Donc là, je vois que ça émane
56:23d'un délégué à protection des données. Donc effectivement, c'est quelque chose
56:26qu'on peut prioriser et la demander.
56:29On va regarder votre nom à la base
56:32des demandes d'accès. Mais dans le cas générique,
56:35par contre, on ne donne pas l'accès
56:38à tout le monde d'un coup. On le fait progressivement en fonction des priorités
56:41techniques.
56:44Alors, il est 12h31
56:47puisqu'on peut prendre une toute dernière question.
56:50On va s'arrêter là.
56:59Est-ce qu'un jour, on pourrait utiliser Albert pour saisir un compte rendu à partir d'un fichier Excel ?
57:02Oui.
57:05Ça serait tout à fait possible.
57:08Mais plutôt via le CSV.
57:11Ce que je recommanderais à court terme, via un API,
57:14c'est de lire l'Excel comme CSV,
57:17d'envoyer le contenu du CSV dans un prompt
57:20et de générer le compte rendu à partir de là.
57:23Il y aura peut-être une limitation technique liée à la taille du CSV.
57:26Ce qu'on appelle une élimination du nombre de tokens
57:29des larges languages modèles. Mais c'est quelque chose
57:32qui pourra être adapté, contourné
57:35en fonction de chaque besoin.
57:40Les contacts, avant de nous envoyer des questions non répondues,
57:43vous seront transmis à l'issue de la présentation.
57:51Un très grand merci à toutes et tous.
57:55Comme vous l'avez noté dans l'invitation
57:58qu'on vous a fournie,
58:01étant donné que certaines personnes n'ont pas pu se connecter aujourd'hui
58:04puisque vous étiez très nombreux,
58:07nous organiserons une prochaine session sans doute à la rentrée
58:10d'ici quelques mois.
58:13Vous serez tenus au courant.
58:16Et encore un grand merci à Christiane pour ce beau travail
58:19et pour cette présentation.
58:23Un très grand merci, à bientôt.
58:26Aujourd'hui, on a eu des questions très techniques.
58:29Certains participants ont été frustrés
58:32qu'on rentre à ce point dans certains détails.
58:35N'hésitez pas à nous envoyer des questions sur d'autres aspects,
58:38si vous en avez besoin.
58:41Merci beaucoup et très bon appétit.
58:44À bientôt, au revoir.