ChatGpt vs Analystes Financiers

  • le mois dernier

Category

🗞
News
Transcript
00:00Salut à tous, alors ça fait longtemps qu'on se demande si l'intelligence artificielle
00:15peut battre les professionnels en bourse et c'est justement ce qu'une étude de chercheurs
00:19de l'université de Chicago a essayé de démontrer en essayant de voir si Chad GPT
00:25pouvait mieux analyser une société qu'un analyste financier professionnel.
00:29Leur méthodologie est assez simple, ils ont pris les bilans et comptes de résultats de
00:3315400 entreprises sur la période 1968-2021 et ils les ont mis dans un format standard pour
00:40que Chad GPT puisse bien les analyser. Ensuite ils ont demandé à Chad GPT ou plutôt plus
00:45précisément Chad GPT 4 Turbo de les analyser en ayant la même démarche qu'un analyste financier
00:50et notamment en calculant un certain nombre de ratios financiers. Alors point important puisque
00:54l'étude portait sur le passé et pour éviter que Chad GPT ne triche si vous voulez ils ont enlevé
00:58toute référence à l'entreprise, à l'année etc donc les bilans et comptes de résultats sont
01:03totalement anonymisés. Donc en se basant uniquement sur le bilan et le compte de résultats d'une année
01:08N, les chercheurs ont demandé à Chad GPT de prédire si les résultats de l'année suivante
01:13seront meilleurs ou moins bons. Ensuite il lui demande de classer l'ampleur de la variation
01:18entre petits moyens grands et enfin on lui demande de noter la confiance de sa prédiction. Et les
01:22résultats sont plutôt pas mal puisque Chad GPT prédit correctement si les résultats seront
01:26en hausse ou en baisse 60% du temps. Il faut savoir que les analystes financiers font leur
01:31prédiction en général le mois suivant de la publication des chiffres financiers et leur
01:36taux de réussite à ce moment là n'est que de 52,7%. Mais l'avantage des humains c'est qu'ils
01:41peuvent utiliser tout type d'informations, des interviews du PDG d'une boîte concurrente,
01:45une guerre qui se déclenche au Moyen-Orient, un confinement en période Covid etc. Donc ils
01:51arrivent à utiliser toutes ces données si vous voulez dans l'année qui suit les résultats,
01:56la publication de résultats jusqu'au prochain résultat. Donc au cours de l'année ils affinent
02:00leurs prédictions et ça marche. Leur taux de réussite augmente au cours de l'année. Trois
02:03mois après la publication précédente le taux de réussite monte à 56% et atteint même 57% six
02:10mois après. Mais c'est toujours moins bon que les prédictions de Chad GPT qui elles sont faites
02:14juste après la publication. Et ce qui est impressionnant c'est que Chad GPT utilise
02:18beaucoup moins de données que les analystes. Ils utilisent juste les chiffres financiers. Ils n'ont
02:24aucun contexte. Chad GPT n'a aucun contexte. Il ne connaît pas le secteur. Il ne connaît pas
02:28les concurrents. Il ne connaît pas le management etc. Et surtout les données ne seront pas mises
02:32à jour pendant l'année. Et pourtant même six mois plus tard donc les analystes financiers humains,
02:37si vous voulez, ils ont pas mal de données en plus. Malgré tout Chad GPT arrive toujours à
02:42les battre. Alors point important, dès qu'il y a des chocs extérieurs comme le choc pétrolier,
02:47comme la crise de 2008, comme la crise du Covid, le taux de précision de Chad GPT chute et les
02:52humains sont meilleurs. C'est évident que si Chad GPT ne sait pas qu'on est en plein confinement,
02:57il va moins bien prédire les résultats de Starbucks ou de McDonald's qu'un humain. Ce qui
03:00est intéressant aussi dans cette étude, c'est qu'il nous donne les mots qui ont le plus de
03:04pouvoir prédictif ou plutôt les critères on va dire qui ont le plus de pouvoir prédictif dans
03:08le bilan et le compte de résultats. Et on a en premier la marge d'exploitation. Alors ça tombe
03:13bien, c'est un de mes critères préférés. On a ensuite la croissance forcément. Et puis plus
03:17surprenant, on a ce qui concerne la liquidité de l'entreprise comme le ratio courant. Vous savez,
03:21ce sont les actifs circulants divisés par les passifs circulants, voilà, des notions de
03:26liquidité. Mais finalement, quand on regarde au général, il n'y a aucun critère qui sort vraiment
03:30du lot puisque même les critères que je vous ai cités, qui ressortent le plus souvent, donc marge
03:34d'exploitation, croissance, liquidité, ils ne sont finalement mentionnés que dans 2% des cas. Alors
03:39tout ça, c'est bien joli, mais la question qu'on se pose, c'est est-ce que ça fait gagner de l'argent ?
03:43Et bien oui, si on crée des portefeuilles basés sur les résultats de Chad GPT, on obtient des
03:48portefeuilles qui atteignent une performance moyenne de 12% par an et qui sont donc meilleurs
03:51que les indices boursiers. Alors point important que j'ai noté dans l'étude et je n'ai pas
03:55réellement d'explication, c'est que les prédictions de Chad GPT sont de moins en moins bonnes au fil du
04:00temps. Dans les années 70, on a des taux de réussite qui montent à à peu près 70%, on est
04:05ensuite régulièrement en dessous de 60%, notamment dans la période récente. Donc les 60% de réussite,
04:10c'est une moyenne. Alors je dis que je ne sais pas vraiment pourquoi, mais en fait j'ai ma petite
04:14idée, je vous répète souvent que les actifs incorporels sont de plus en plus importants dans
04:18les entreprises et que les bilans sont de moins en moins fiables. En tout cas, ce sont, j'utilise de
04:22moins en moins de chiffres du bilan, enfin plutôt de ratio bilanciel, je regarde évidemment toujours
04:26les bilans, mais j'utilise moins de ratio bilanciel dans mes analyses. Pourquoi ? Parce que tout ce
04:31qui est marques, logiciels, brevets, le fichier des clients, je ne sais pas, de méta, les données
04:37d'alphabet, tout ce qui est marque d'Apple, de LVMH, de Hermès, etc. ne sont souvent pas mis à
04:42l'actif des entreprises dans la période actuelle, alors qu'évidemment, dans les années 70, les
04:47usines, les stocks, etc. étaient marqués à l'actif. Donc les chiffres dans les années 70-80 du bilan
04:53étaient beaucoup plus significatifs, si vous voulez, que ceux d'aujourd'hui. Alors ça peut
04:57être l'explication, je ne sais pas si c'est l'explication, mais ça peut être l'explication.
05:00Alors cette étude, je l'ai vraiment trouvée super intéressante, mais j'ai toujours un doute
05:04quand on utilise ChatGPT pour faire ce qu'on appelle un backtest, c'est-à-dire pour tester
05:08une stratégie dans le passé. Bien sûr, ce sont des vrais chercheurs qui ont fait l'étude,
05:12mais d'habitude, il y a un protocole qui est beaucoup plus strict pour s'assurer qu'on n'utilise
05:16pas des données qui viennent du, entre guillemets, futur. Quand dans le lot, par exemple, je suis sûr
05:22qu'ils prévoyaient les résultats, je ne sais pas, d'Apple en 1986, et malgré tout, dans toutes les
05:28données que ChatGPT utilise, il y a des données sur Apple, sur la technologie, etc. qui datent
05:32des années 90, 2000, 2020, etc. Et puis même ces bilans et ces comptes de résultats, ils sont
05:38dans les données qui ont été utilisées par ChatGPT pour s'entraîner. Donc, j'ai toujours ce doute de
05:44me dire que, je ne sais pas, peut-être que le fait que le modèle utilise beaucoup les marges et la
05:48croissance est dû au fait qu'il sait que sur cette grande période, ce sont les facteurs les plus
05:54importants, marges et croissances. Et peut-être que dans les 20 prochaines années, ce seront
05:57d'autres critères. Donc, peut-être que dans les 20 prochaines années, si on utilise ChatGPT en live
06:02pour prédire des résultats, il sera moins bon. Pourquoi ? Parce qu'il sera vraiment, pour le coup,
06:06entraîné sur des données du passé. Alors que là, forcément, si on lui demande de prédire des données
06:11des années 80, 90, etc, c'est forcément en utilisant des données des années 2000, 2010, 2020. Donc,
06:18il y a quelque chose d'un peu bizarre quand même dans cette étude. Alors, malgré tout, le fait
06:22d'étudier sur des périodes aussi longues, puisque je vous ai dit qu'ils utilisaient des bilans-comptes
06:26de résultats de 68 à 2021, et quand ils ont comparé aux analystes financiers, ils ont fait ça sur la
06:31période 83-2021, c'est vrai que ça protège énormément du fait que ChatGPT ne sache pas du
06:37tout où il est dans l'histoire. Donc, ils n'arrivent pas à deviner. Ils ont fait quelques tests. Ils
06:41n'arrivent pas à deviner de quelle année date un bilan ou un compte de résultats. Ils n'arrivent
06:45pas à deviner de quelle entreprise c'est, etc. Donc, ils ont fait quand même quelques tests pour
06:49prouver que ce n'était pas faussé, si vous voulez, que le ChatGPT n'arrivait pas à deviner que c'était
06:55le bilan d'Apple en 1986. Sinon, évidemment, ce serait trop facile. Mais au final, ça me paraît
07:00un peu évident que ChatGPT batte les analystes du passé, surtout si on se rappelle que ChatGPT n'est
07:04qu'un outil. C'est un peu comme si on se posait la question, est-ce que les prédictions des
07:08analystes étaient meilleures avant ou après l'invention de la calculatrice ? Avant ou après
07:13l'invention de l'ordinateur ? La réponse est évidente, c'est meilleur après. Les ordinateurs,
07:17ils ont limité les erreurs de calcul, ils ont permis de faire des recherches plus complexes
07:20sur un plus grand nombre d'entreprises. Et d'ailleurs, ce qui est très intéressant et qui,
07:25pour moi, n'est pas assez souligné dans l'étude, c'est que dans un premier temps, les chercheurs ont
07:29juste demandé à ChatGPT, sans lui donner d'instructions, sans lui donner de méthode,
07:33si les résultats allaient monter ou baisser. Et dans ce cas-là, ChatGPT avait le même pouvoir
07:37prédictif que les humains, c'est-à-dire 52%. C'est une fois que les chercheurs lui ont donné
07:42une méthodologie d'analyse financière qu'il a pu battre les analystes. Donc ce que je retiens,
07:46c'est pas forcément qui est le plus fort, l'homme ou la machine, parce que la réponse,
07:50c'est le plus fort, c'est un humain qui utilise bien l'intelligence artificielle. Et j'imagine
07:55qu'aujourd'hui, 95% des analystes financiers utilisent ChatGPT pour leurs analyses. En tout
08:00cas, moi, c'est ce que je fais. Je mets régulièrement, je fournis à ChatGPT tous
08:04les documents que je peux trouver sur une entreprise. Donc bien évidemment, le rapport
08:06annuel, tous les transcripts, vraiment tout ce que je peux trouver. Je lui donne mes propres
08:10tableaux Excel et ensuite, je lui pose plein de questions. Enfin, plutôt, je lui donne ma méthode
08:15avec toutes les questions de ma télé, je ne sais plus combien, 60 questions de ma checklist. Je
08:18lui donne tout ça et il me mâche une partie du travail. Mais comme toujours, ce n'est jamais
08:22magique et je suis rarement impressionné par ce qu'il me donne. Mais ce que fait ChatGPT,
08:26tout simplement, c'est en général faire gagner beaucoup de temps. Mais si je repars sur les
08:29analystes financiers professionnels et sur, on va dire, Wall Street, le monde de la finance en
08:34général, ce que je pense, et c'est ce que tend à nous prouver cette étude, c'est qu'avec le temps,
08:38les prévisions des analystes financiers seront de plus en plus précises et de plus en plus
08:42justes, puisque ce ne sera pas humain contre machine. Comme je le disais, ce sera humain
08:46plus machine. Donc, on peut imaginer que les estimations de résultats seront de plus en
08:51plus fiables. Enfin, l'estimation de résultats, de chiffres d'affaires, etc. seront de plus en
08:55plus fiables, etc. Donc, potentiellement, un marché un peu plus efficient. Je ne sais pas,
08:59dites-moi ce que vous en pensez. Est-ce que vous, d'ailleurs, vous utilisez l'intelligence
09:02artificielle en bourse pour quelques, je ne sais pas, peut-être, moi j'utilise par exemple pour
09:06des transcripts de conf call de résultats. Je lui demande de me résumer, de me sortir les
09:11points importants, etc. Mais à nouveau, je suis souvent déçu. Souvent, il passe à côté des
09:14points qui, pour moi, sont importants. Donc, voilà. Mais malgré tout, ça fait gagner du
09:18temps. Je ne peux pas le nier. Comme je vous le disais, pour moi, c'est l'équivalent d'une
09:21calculatrice d'un ordinateur. Ça fait gagner énormément de temps et ce serait dommage de
09:25s'en priver. Mais mettez-moi en commentaire comment vous utilisez l'intelligence artificielle en
09:29bourse. Voilà. Merci à tous pour votre suivi, vos likes, vos commentaires, vos partages. Et
09:32bien sûr, à bientôt pour d'autres émissions.