Catégorie
🎮️
Jeux vidéoTranscription
00:00Des chercheurs ont repris le cœur de l'IA chinoise DeepSeek et sont parvenus à la reproduire pour moins de 30 dollars.
00:08L'intelligence artificielle est un domaine en constante évolution, en particulier depuis un an.
00:13L'une des plus récentes et les plus prometteuses est la création du modèle de langage DeepSeek développé par une startup chinoise.
00:20Ce modèle open source a fait sensation en raison de ses performances impressionnantes
00:25et de son coût de fonctionnement bien inférieur à celui de ses concurrents, comme OpenAI par exemple.
00:30Récemment, une équipe de chercheurs de l'Université de Californie à Berkeley a fait une annonce surprenante.
00:35Ils ont réussi à reproduire une version de DeepSeek pour un coût dérisoire de seulement 30 dollars.
00:41Cette prouesse soulève des questions importantes sur l'accessibilité et la démocratisation de l'IA de pointe.
00:46Forcément, DeepSeek a rapidement attiré l'attention de la communauté de développeurs et chercheurs en IA pour plusieurs raisons.
00:52Tout d'abord, il s'agit d'un modèle open source, ce qui signifie que son code est accessible à tous et peut être modifié et amélioré par la commu.
01:00Cette approche collaborative contraste avec celle des géants de la tech comme OpenAI qui gardent leur techno pour eux seuls.
01:06Ensuite, DeepSeek affiche des performances impressionnantes, rivalisant avec des modèles beaucoup plus coûteux.
01:13Son modèle premium DeepSeek R1 utilise 671 milliards de paramètres, ce qui en fait un modèle de langage à grande taille.
01:21C'est ce qu'on appelle aussi les LLM, les Launch Language Model.
01:25Plus un modèle a de paramètres, plus il est capable de comprendre et de générer du texte complet.
01:30Enfin, et c'est un point crucial, DeepSeek est beaucoup moins cher à utiliser que ses concurrents, autant en termes de coûts directs que de puissance de calcul nécessaire.
01:39Alors que les API d'OpenAI coûtent 15 dollars par million de jetons d'entrée, c'est l'unité de mesure de la quantité de texte traité,
01:46DeepSeek R1 ne coûte que 55 centimes de dollars par million de jetons, soit près de 30 fois moins cher.
01:53En revanche, Nathan Lambert, un expert en apprentissage automatique, a contesté le coût réel de DeepSeek dans sa globalité,
01:59estimant que le coût de 5,6 millions de dollars annoncé pour l'entraînement de son modèle de 671 milliards de paramètres ne reflétait pas la réalité.
02:08Selon lui, les coûts d'exploitation annuels de DeepSeek AI se situeraient plutôt autour des 500 millions voire du milliard de dollars.
02:15Mais revenons à nos chercheurs de l'université de Berkeley dirigés par le doctorant Jiayi Pan.
02:19Ils ont réussi à reproduire une version simplifiée de DeepSeek appelée R1-0, pour un coût de développement estimé à seulement 30 dollars.
02:27Cette version, bien que moins puissante que le modèle original, a tout de même démontré des capacités de résolution de problèmes remarquables.
02:34Pour parvenir à ce résultat, les chercheurs ont utilisé une approche d'apprentissage par renforcement,
02:39en entraînant ainsi leur modèle sur une adaptation du jeu des chiffres et des lettres, mais dans sa version britannique.
02:45Le modèle R1-0 de Berkeley a commencé avec seulement 500 millions de paramètres, ce qui est très faible par rapport aux 671 milliards de DeepSeek R1.
02:55Au début, le modèle produisait des résultats erronés, mais en augmentant progressivement le nombre de paramètres,
03:00les chercheurs ont constaté une amélioration significative de ses performances.
03:05A partir d'environ 3 milliards de paramètres, le modèle a commencé à développer des stratégies de recherche, d'autovérification et de révision,
03:12lui permettant de trouver les bonnes solutions en moins d'étapes et surtout de se corriger lui-même.
03:18Le plus fou est la capacité du modèle R1-0 à développer ses propres techniques de résolution de problèmes.
03:23Par exemple, lorsqu'il est confronté à un problème de multiplication, le modèle utilise la propriété distributive de la multiplication pour décomposer le problème en étapes plus simples.
03:33Un peu comme le ferait un humain au final.
03:35Si le coût de 30$ annoncé par l'équipe de Berkeley est impressionnant, il est important de souligner qu'il ne prend pas en compte les coûts techniques directs de l'expérience.
03:42Des coûts tels que les salaires des chercheurs, l'infrastructure informatique et l'électricité ne sont pas inclus dans ce chiffre.
03:49Au final, c'est exactement ce que l'on pouvait espérer pour le monde de l'IA.
03:52L'exploit de l'équipe de Berkeley, combiné à l'approche open source et au coût réduit de DeepSeek, ouvre des perspectives fascinantes.
03:59En gros, cela suggère que l'IA de pointe pourrait devenir accessible à un plus grand nombre de chercheurs, d'entreprises et d'individus, favorisant ainsi l'innovation et la collaboration.
04:08Cette méthodologie pourrait ainsi encourager la création de modèles d'IA plus transparents et plus éthiques, en permettant à la communauté de scruter et d'améliorer les algorithmes.
04:17Seul l'avenir nous le dira.
04:18Le Daily Tech, c'est fini ! Ciao !