Etre méfiant de l’utilisation qui en serait faite en anticipant les potentielles dérives, quand on voit ce qu’il se passe actuellement dans le monde, ça n’a rien de complotiste, non, que ce soit teinté ou à tendance.
D’ailleurs, Lepen, elle n’est pas raciste, elle fait juste des discours à tendance raciste et conduit un parti teinté de racisme.
Manquait plus que lui.
Puisque c’est comme ça, je vais me petit-suissider
Voilà. En vous remerciant.
L’humain est parfois, légèrement teinté de mauvaise foi.
Cette phrase est fausse. La qualité des LLM s’est fortement améliorée depuis 2023.
Est-ce que la tendance va continuer, pas sûr.
Mais on ne peut pas affirmer qu’ils font de plus en plus d’erreurs, en relatif.
En absolu, ils sont de plus en plus utilisés, donc le nombre d’erreurs qu’ils produisent doit l’être aussi.
Une vidéo sympa sur le sujet de l’IA, qui aborde notamment l’éducation (j’apprécie particulièrement la conclusion) :
Et je me permets un contrepoint sur l’utilisation de l’IA dans l’imagerie médicale pour rassurer les “complotistes” (même si au vu des discussions autour du budget, je ne suis pas sûr qu’on puisse garantir que les politiques ne vont pas réduire le budget de la sécurité sociale au détriment de la qualité des soins, mais ce n’est pas une discussion liée à l’IA. J’y verrai de toute façon plus de l’incompétence que du complot) :
Etc…
Pour le coup, c’est pas une étude, c’est pas sourcé, ce n’est qu’une impression personnelle, donc ça ne vaut pas plus que ça :
Personnellement, de mon usage et de mon constat de mon utilisation personnelle des IA (ChatGPT, Claude, Perplexity, essentiellement), ça me dit de moins en moins de bêtises, de moins en moins d’approximations, les sources sont de mieux en mieux utilisées.
Alors ptet que si on les pousse dans leur retranchements, si on les piège, oui, c’est encore perfectible, et voire même en baisse d’après les liens que vous publiez. Mais quand on s’en sert de façon “normale”, franchement la qualité a énormément augmenté ces deux dernières années, et, désolé si je vais encore faire bondir du monde, mais les IA me disent moins d’aneries que 90% des humains avec qui j’interagis… Virtuellement comme réellement.
Je n’ai pas de conclusion particulière en bien ou mal de ce constat personnel, ce n’est que ça : un constat.
PS : j’ai pensé à vous dire que c’était personnel ?
Le deuxième lien est plus mesuré que ce que tu dis.
D’abord, le taux d’erreur est élevé et diminue régulièrement. Il ne s’agit pas de réponses non pertinentes mais bien d’erreurs factuelles.
Je suis en tout cas d’accord avec l’article quand il dit que le taux d’erreurs semble incompressible. C’est ce que je voulais dire en disant que je ne suis pas sûr que la tendance à augmenter la qualité des modèles va continuer.
Le premier est un lien commercial donc à prendre avec des pincettes, même si les exemples cités semblent avérés.
Je te remercie car tu lèves un biais que j’ai.
Dans mon usage quotidien (domaine informatique), la qualité du code produit a tellement augmenté que :
Je viens de prendre le temps de lire les deux liens de @jmguiche , qui sont intéressants.Merci !
En revanche, il faut garder à l’esprit leur axe : est-ce que les LLM sont suffisemment fiable pour s’appuyer dessus pour de la science ou du travail de recherche sérieux?
Réponse, pour le moment, non, toujours pas. Et les difficulté rencontrées ne semblent pas en voie d’être résolues, malgré une amélioration constante, on arrive à un plafond de verre semble-t-il.
C’est très différent comme attentes et critères de jugement que la fiabilité pour un usage quotidien normal de “non chercheur”. Et surtout, ça ne juge que des LLM. Pour rappel, un LLM est un type bien spécifique d’IA (sur lequel s’appuient des programmes tiers comme chatGPT). Ce n’est pas “l’IA.”
Pour revenir à l’exemple obstérique plus haut, les IA médicales dont il est question ne sont pas des LLM. Tout travaux d’évaluation de la fiabilité d’un LLM n’a absolument aucune pertinence pour juger du taux d’erreurs d’IA médicales spécialisées. Qui méritent des études spécifiques.
Si je me risque à une analogie, on peut voir l’IA comme des véhicules. Les LLM sont des voitures, les IA médicales de bateaux par exemple.
Toutes les études sur les voitures pour savoir si elles roulent correctement n’apportent aucune information pertinente sur la capacité des bateaux à naviguer.
J’ai retrouvé le papier le plus intéressant, une étude de NewsGuard :
L’article est très intéressant mais attention à la méthodologie et la conclusion.
Ici, si je comprends bien, la méthodologie est de lui poser des questions “pièges” qui amènent vers des Fake news pour voir à quel point elle y est vulnérable.
Ça mesure donc la détection de fake news. Ça ne mesure absolument pas le nombre de mauvaises réponses à des questions globales et variées, qui pourrait alors devenir un indice de fiabilité.
Ça indiqué malgré tout un changement de paradigme et une tendance (celle de répondre à tout prix plutôt que de dire qu’elles ne savent pas par exemple)
Donc attention à bien lire et comprendre ces articles pour le pas leur faire dire ce qu’ils ne disent pas 
Le titre putaclic et limite mensonger n’aide pas. (Techniquement correct mais fait pour amener dans l’esprit du lecteur une conclusion qui n’est pas ce que dit l’article)
Ce papier décrivant une évolution, non, il n’est ni limite mensonger ni putaclic.
Avec un panel de questions pouvant amener à une réponse mensongère, il y a de plus en plus de réponses mensongères.
Évidemment, si on pose des questions sur lesquelles il n’y a pas de réponses mensongères dans ses sources, il ne risque pas de la reproduire!
C’est vrai.
Mais quand on lit ça on peut croire que les IA nous disent de plus en plus de trucs faux.
Ce qui n’est pas exact, ce n’est pas du tout ce que la méthodologie employée mesure.
D’autres sources sur l:augmentation du taux d’hallucinations des IA (LLM) :
Dans cet article on parle bien “d’erreurs” de l’IA. Pourquoi on emploi “hallucinations” ? Je trouve le propos très anthropomorphe. Un abus de langage pour faire le buzz ?
C’est surtout l’écart entre les réponses.
Si je te dis de mettre de la colle sur une pizza pour que le fromage attache, le mot erreur, même s’il est vrai, paraît un peu faible.
De plus une machine ne faisant pas d’erreur en elle même (sauf matériellement) il est normal que le vocable sur ce type de réponse soit emprunté au vocable humain
Errare Humanum Est
Il y a deux phénomènes, le fait qu’une IA raconte une connerie parceque cette connerie est dans ses sources, et un autre phénomène, c’est quand l’IA raconte un truc sans queue ni tête dont on ne comprend pas l’origine.
J’ai compris que, dans le second cas, on parle d’hallucinations.
Alors oui, c’est de l’anthropomorphisme, mais rien que parler d’intelligence, même artificielle, c’est de l’anthropomorphisme.
J’aurais peut être davantage employé aberration ou dérive générative ?
Pour l’IA on aurait pu dire “outil algorithmique générative” ? C’est moins séduisant et racoleur. Je crois que l’académie française parle de “Traitement algorithmique de données”. A vérifier.