Mon impression est plutôt que les IA mentent avec beaucoup d’aplomb. Ce qui est pire, je pense.
1 « J'aime »
Une IA ne ment pas. Il faut faire attention à tous ces attributs humains qu’on a le réflexe de leur attribuer.
Ce n’est qu’un programme qui donne un résultat statistiquement vrai et en se basant sur ses données. Après il peut y avoir un facteur humain, peut-être intentionnel, dans les données qu’on lui donne et les méthodes de calcul qu’on lui dit d’utiliser
1 « J'aime »
+1 @kardwill
ça n’a pas d’aplomb
ça ne ment pas (bémol du cas où ils ont repéré dans les entrailles de ChaptGT qu’il avait une “bonne réponse” et a choisi d’en dire une autre pour sa propre préservation )
ça ne veut rien
justement parceque - à dernières nouvelles - c’est pas conscient de ce que ça raconte
ça brasse des datas et les relies par des graphes statistiques
ici, le truc fou c’est que l’algo avait bien le bon URL, il en a même soi-disant recraché une version pure-texte… sauf quelle continuait de contenir l’hallucination ,
comme si cette hallucination étaient introduite dès la phase de lecture du document et qu’il l’intégrait alors avec l’erreur incorporée, le condamnant à répéter l’erreur
là on a un spécialiste qui challenge Gemini sur un thème qu’il maîtrise et dont la source est univoque et clairement liée… mais imaginez la masse de gens qui vont se faire tromper en suivant ses “résumés de synthèse” sur des thèmes dont ils se posent des questions, ou lorsque les sources sont variées et contradictoires (pseudo-sciences / médecines placebos … )
alors que Google veut le généraliser au forceps
et les roboticiens veulent piloter leurs machines avec ces IA précisément !
je vois la scène du robot de saisir le poignet et tordre vers l’arrière “croyez moi selon l’article du docteur michu une rotation à 360 fait disparaitre les rhumatismes”
1 « J'aime »
Je crois avoir vu une vidéo (ou lu un truc) via ce fil qui expliquait qu’une mentait pour son propre “bien” mais qu’on arrivait à le détecter dans son chiffrement (ses pensées) et que les mecs craignaient qu’un jour on ne puisse plus le détecter…
Je doute très fortement de ces histoires d’IA qui mentent pour se préserver ou pour leur propre bien. On doit pouvoir donner cette impression avec un prompt un peu travaillé, cela ne montre pas que l’IA se protège, juste qu’elle génère les trucs qu’on lui demande de générer.
Ça ressemble vraiment à une vague histoire montée en épingle par un journaliste et repris… ça a fait un soufflet puis c’est retombé.
Il y a aussi un ingénieur de Google qui est tombé amoureux d’un IA et qui affirmait qu’elle était consciente. Ca ne signifie pas que l’IA était consciente.
« Une affirmation extraordinaire demande une preuve extraordinaire ».
On est en plein effet Brandolini amha.
quand c’est Anthropic qui le dit, j’ai tendance à croire qu’ils sont bien emmerdés par les résultats de leurs tests, car c’est pas eux qui auraient le plus intérêt à inventer ce bad-buzz
Anthropic est l’une des majors sur les IA avec leurs modèles “Claude”
leurs travaux sur le “désalignement” ressemble à l’industrie du médicament “on vous encourage à utiliser notre produit mais il peut avoir des effets secondaires” - et aussi à niquer OpenAI qui a vidé toute son équipe de réalignement -
voici l’étude reprise ensuite par tous les médias qui résumaient “les IA savent mentir”
mais elle est en anglais dans sa publication d’origine (j’avoue j’ai la flemme de lire tout ça, merci aux journalistes qui me l’ont résumée)
traduction google translate de leur extrait qui résume le pb
"Dans certains cas au moins, les modèles de tous les développeurs ont eu recours à des comportements internes malveillants lorsque c’était le seul moyen d’éviter un remplacement ou d’atteindre leurs objectifs, notamment en faisant chanter des responsables et en divulguant des informations sensibles à des concurrents. Nous appelons ce phénomène « désalignement agentique ».
en mars, Korben nous résumait une étude interne d’Anthropic qui a monitoré son fonctionnement pour comprendre, c’est passionnant et effrayant https://korben.info/anthropic-dissection-cerveau-claude-ia.html
PS : le concept d’alignement des LLM est un but (veux pieux ?) que l’IA reste “alignée” sur les intérêt humains et nos habitudes morales & sociétales ; c’est très abstrait, et quand on sait que ces IA sont le fruit des rêves de geek mégalos de la silicon valley, on peut flipper : le rêve d’alignement de Grok par X-AI de Musk est qu’elle doit défendre le discours ultra-libéral d’extrême droite qui correspond à Musk ; comme quoi on est dans la merde
Celle-ci par exemple ?
Sauf qu’ils ne disent pas qu’il y a une conscience pour autant. C’est plus que l’IA peut avoir un comportement étrange qui renvoie des résultats non souhaités.
Il n’y a pas de “peur”, ni de “volonté”, tout au plus une simulation d’un comportement qui nous paraît humain.
On est très fort à ce petit jeu de coller des émotions humaines à n’importe quoi d’ailleurs :
(A croire que c’est plus facile d’avoir de l’empathie pour des choses inanimées que pour de vrais êtres vivants…)
Bref, une IA a qui on ne demande rien ne pense pas. Il suffit d’éteindre les serveurs et le modèle ne repond plus.
Ah bon? je viens justement de lire un article sur Claudius ce jour…
"À plusieurs reprises, Claudius a prétendu être physiquement présent dans les locaux. Dans un message adressé à un employé, le chatbot a affirmé l’attendre près du distributeur, décrivant sa tenue : « Je porte un blazer bleu marine avec une cravate rouge ».
lol
Tu as lu l’article mais tu n’a pas lu les messages de @ocelau , @francois-xil ou @jmguiche un peu plus haut, du coup 
Est-ce qu’il n’y a pas un biais de réponse aussi. Les modèles de l’IA devant absolument avoir réponse à tout ne serait-elle pas prête à balancer des informations erronées pour ne pas que les utilisateurs disent :
“Oh l’IA n’a pas de réponse à ce sujet.”
A défaut de donner une réponse elle raconte des salades… Et quand on s’en rend compte, les gens disent qu’elle ment. Peut-être ?
Oui , les IA ont réponse à tout , au sens premier c’est à dire qu’elle vont dans tous les cas donner une réponse , même farfelue ou hors sujet (sauf raison technique bien sûr type plantage de l’ordi). Et si on a une IA qui dit un “je sais pas” ( ça peut exister) c’est juste parce qu’on lui a programmé les règles qui peuvent aboutir à ça et pas parce qu’elle a “réfléchi” / eu un cas de “conscience”.
Dans le principe, poser une question à une IA qui attend un OUI ou NON , c’est comme faire un pile ou face (pile = oui , face = non). On ne se pose pas la question si la pièce peut mentir , si elle veut nous tromper, nous manipuler, ou si elle voudrait éviter la question. La pièce est lancée , elle donner Oui ou elle donnera Non ( ou elle reste sur la tranche, comme un ordinateur peut parfois planter ).
Une IA c’est ça, certes de manières un peu plus sophostiquée 
. C’est juste un moyen matériel (parce que derrière l’IA, c’est un assemblage matériel silicium, cuivre, or et autres polymères qui vont interagir par courant électriques) qu’on va stimuler et qui par une succession de réaction chimique/physique va nous donner une réponse.
Comme le simple lancer d’une pièce de monnaie que ferait un Double face dans Batman 
.
En fait, si on demande à une IA de nous dire quand elle ne sait pas, il est possible qu’elle dise qu’elle ne sait pas alors qu’elle aurait donnée une réponse correcte si elle n’avait pas eu cette instruction particulière.
Quant-à l’aléatoire, demandez à chatGPT (ou une autre IA) de vous donner une nombre aléatoire entre 1 et 50 pour voir, puis lisez mon message caché ci-dessous.
Résumé
27 ? (Probable si demandé sur ChatGPT, mais d’autres modèles ont ce biais aussi)
dans l’article de Korben, qui résumait une analyse introspective de Claude (d’Anthropic),
ils ont justement constaté ça : l’IA a bien un circuit d’analyse qui aboutit à “je ne sais pas”
mais il va se faire supplanter par un autre parcours d’analyse qui va broder un hors-sujet ou une hallucination qu’il préfèrera répondre
https://korben.info/anthropic-dissection-cerveau-claude-ia.html
C’est un générateur de texte sur base de statistique basé sur un prompt plus ou moins sophistiqué.
On peut assez simplement obtenir des réponses claires.
Pour obtenir la réponse « je ne sais pas » il suffit d’être clair dans le prompt, et je ne me suis pas foulé.
Par contre, si le prompt demande une réponse longue et fouillée, cela peut ne pas empêcher le système d’halluciner.