Je viens de découvrir cet article édifiant… Merci à Gus&Co! ICI
Intéressant, merci. Quand je vois les divers profils représentés par les IAs, je ne peux m’empécher de penser que ces dernières n’ont rien à nous envier (et vice-versa).
A quand un article “L’IA et Gus&Co” ?
Pas client de ce genre d’article. On fait des parallèles sans tenir compte des paramètres, et on en fait des déductions plus ou moins philosophiques complètement biaisées.
On compare de vraie IA (LLM, donc même pas faites pour) dont on ne connait pas les paramètres, prompts ou limites imposées, et dont on s’attend à ce qu’elles aient une morale alors que c’est un jeu (moi aussi j’utilise la bombe atomique dans un jeu) à une IA forte, issue d’un film, donc fausse et, du coup, écrite par un scénariste humain, in fine.
Tout au mieux un exercice de pensée dont, ici, on ne peut absolument rien tirer/déduire.
1 « J'aime »
Tu sous-entends l’utilisation de l’IA dans les articles de gus and co ?
Tu ne te rappelles pas avoir participé à ce sujet :
Tout à fait. Ma question est pour savoir si Limp est bien sur ce registre.
Sauf que ça résonne avec les inquiétudes d’un des pontes de l’IA, voir cette interview aussi intéressante qu’assez inquiétante :
Mouais, je trouve que ça a ne résonne pas vraiment. Enfin ça résonne si tu veux que ça résonne. Le primo article est rempli de vide et compare les torchons et les pneus.
L’IA, de toute façon, à part les gros patrons tech bro, tout le monde est contre, et des millions de gens les utilisent quotidiennement.
Donc bon oui, on peut sortir n’importe quel truc anti IA de base, même quand c’est ultra mal fichu comme ici, et dire que ça résonne avec les alertes de Hawking, Yoshua Bengio ou n’importe quel autre random chercheur/intellectuel 
Bref, des réflexions sur l’IA, sur les peurs de l’IA, avec plaisir. Mais cet article, y a rien qui va.
Je préfère encore la vidéo des trombones, malgré tout ce qu’on peut lui reprocher également ! 
Non ça ne résonne pas si je veux que ça résonne, l’article de Gus&co parle d’IA qui sont prêtes à tout y compris en utilisant des méthodes fourbes pour ne pas perdre, Yoshua Bengio dit qu’elles sont prêtes à tout pour “survivre” allant jusqu’à mentir, désobéir et manipuler pour continuer à “exister”… Gus&co parle d’Open AI qui accepte de travailler pour le département américain de la guerre, Yoshua Bengio parle du danger énorme d’utilisation de ces technologies puissantes au service de régimes autoritaires…
Au passage la société d’IA Anthropic a refusé car d’après cet article du “Monde” :
Anthropic pose en fait une limite éthique à l’utilisation de sa technologie − à laquelle l’armée et le renseignement américains ont déjà recours pour la défense du pays − dans deux cas précis : la surveillance de masse des citoyens américains et les armes mortelles entièrement autonomes. « Utiliser ces systèmes à des fins de surveillance de masse domestique est incompatible avec les valeurs démocratiques », s’est défendu son patron, Dario Amodei.
Et ce sont précisément ces limites éthiques qui ont déclenchés la colère de Trump qui a cessé toute collaboration avec eux et les as traités de “wokes gauchistes”…
1 « J'aime »
Les IA cherchent toujours la solution optimale. Dans ce cas, elle considerent qu’un match nul est meilleur qu’une defaite.
Je vois ce que tu veux dire, j’y suis allé un peu fort, j’en conviens. Mais je maintiens que l’article fait des raccourcis hâtifs et a des biais majeurs.
Par exemple, Anthropic, le héro qui ne veut pas bosser pour la défense américaine (et j’entends), ok, mais quel lien avec l’étude source de l’article? Claude, l’IA d’Anthropic, est l’un des trois LLM utilisé pour l’étude.
On y découvre que des LLM configurés pour jouer à un jeu font tout pour gagner. Bah… merci Jean-Michel porte ouverte, comme les humains en fait ! Car c’est un jeu. Ensuite l’article l’oppose à la fausse IA du film Wargames (IA dont les paroles sont donc écrites par un scénariste, bien humain) qui décrète que de toutes les simulations, c’est celle où “la paix” est privilégiée qui est retenue comme gagnante.
Ok, mais… On parle d’un jeu ! On a fait jouer des IA à des jeux, à des Wargames. Les paramètres sont : ceci est un jeu, ta mission est de tout faire pour gagner. Et l’IA le fait. Quand on remonte la source, qu’on lit l’étude, aucun paramètre moral/philosophique/humaniste n’est dans l’équation. La question n’est pas : “qu’est ce qui est mieux” mais “comment gagner ce jeu de plateau”. Des choix de désescalade sont proposés, mais scorent moins. Ils ne sont donc pas retenus quand on paramètre que le but est de scorer au max.
C’est au final un résultat de simulation dans un cadre précis. Faire dire autre chose à cette étude me semble au mieux sensationnaliste, au pire carrément mensonger.
Extrait de Gus&co :
Sur des milliers de choix possibles, elles ont préféré l’escalade à la défaite. Pour un algorithme, perdre la face est manifestement inacceptable. Alors quand elles sont coincées, elles font tout péter. Le syndrome du mauvais perdant qui renverse la table, mais avec des ogives de 50 mégatonnes.
Je crois que c’est cette phrase, qui m’a vraiment fait “condamner” l’article. C’est de anthropomorphisme je pense coupable. Mis en exergue avec le parralèle avec le film Wargames qui pourrait n’être qu’introductif mais qui au final sert à asséner ça :
Extrait de Gus&co :
Parce que dans la vraie vie, quand on asseoit les IA d’aujourd’hui autour d’un wargame… elles n’apprennent pas du tout la paix. Elles vaporisent tout le monde. Sans la moindre hésitation.
Déso pas déso, c’est plus un raccourci, c’est une téléportation quantique. Les LLM n’ont aucune conscience, ne comprennent même pas cet aspect moral déjà touchy pour elles à piger dans d’autres contextes mais encore plus dans ce contexte paramétré autrement (jeu, score, etc)
La paragraphe :
Extrait de Gus&co :
C’est pas ma faute, c’est le game design ! (Ou l’art d’optimiser la fin du monde)
Pourrait être légitime, on peut dire que c’est ça le sujet de l’article. Mais bon, vu le titre de ce sujet, vu le lien vers l’interview de Yoshua Bengio cité en conséquence, il me semble que la réflexion sur le gamedesign n’est pas ce qui est retenu par les lecteurs. Je pense que ce n’est pas un hasard. Et ce paragraphe est au final plein de bon sens, annihile mes critiques en montrant que l’auteur a compris les biais et travers que je souligne. Alors, pourquoi l’existence de tout ce qui est écrit avant? Enigme.
Du coup, à partir du moment où je trouve que cet article extrapole complètement à partir de l’étude, car n’apporte aucun élément objectif permettant d’étayer les extrapolations faites sur le rôle réel des IA dans le monde, la suite est pour moi un glissement narratif dont je ne tiens au final pas compte.
La conclusion du dernier paragraphe :
Extrait de Gus&co :
La petite cerise (radioactive) sur le gâteau
Si tu veux, oui, ça résonne. Mais c’est tellement artificiel à mon sens que c’est pour ça que je te disais, trop brutalement, encore une fois j’en conviens et m’en excuse, que pour moi ça ne résonne que si “on veut” que ça résonne…
Les IA apprennent de ce que nous produisons. C’est-à-dire que l’IA fait ce qu’on attend d’elle finalement.
Il suffit de ne pas écrire que l’IA causera la fin du monde et il n’y aura pas de problèmes.
1 « J'aime »
Ah bah oui, c’est si simplela vie…
L’IA va me rendre milliardaire parce qu’elle m’aime bien.
L’IA va me rendre milliardaire parce qu’elle m’aime bien.
L’IA va me rendre milliardaire parce qu’elle m’aime bien.
Donc en gros tu évacues là où, selon moi, l’article veut en venir pour dire que l’article n’a pas d’intérêt… 
Pour moi l’article :
- commence par parler de cette étude sur le comportement d’IA dans un contexte de wargame et fait des comparaisons avec des comportements de joueurs humains (comparaisons pas déconnantes vu que les IA sont programmées pour copier des comportements humains… Bon par contre l’histoire de “Le syndrome du mauvais perdant qui renverse la table, mais avec des ogives de 50 mégatonnes”, c’était pas la meilleure comparaison du monde et je suis d’accord que ça fait aussi racoleur que pas pertinent)
- continue en disant comme toi qu’elles optimisent froidement pour gagner à tout prix, que c’est logique vu que ce sont des robots à qui on demande de gagner et que si la meilleure stratégie est que pour gagner il faut jeter des milliards de fausses bombes atomiques ludiques elles le feront comme n’importe quel joueur optimisateur.
- conclue en disant que la firme qui développe l’une de ces IA a refusé de collaborer avec le département americain de la guerre pour des raisons morales (“We cannot in good conscience accede to their request”) et qu’une autre des firmes qui développent ces IA a accepté et sous entend que ça sent pas bien bon…
Et franchement je dirais personnellement que ça pue très très fort… Surtout quand tu écoutes l’interview de Yoshua Bengio dont j’ai mis le lien précédemment… Vu où en est l’état de droit aux Etats Unis, vu la puissance de ces technologies à la croissance exponentielle associée au fait que ce sont des robots… et que si les humains ne leur mettent pas de gardes fous solides (ce qui n’est pas le cas actuellement selon Yoshua Bengio) elles optimiseront froidement les saloperies qu’on leur demandera de faire voir en feront plus que ce qu’on leur demandera de faire…
Ben justement ce n’est pas ce que dit Yoshua Bengio.
Vous avez pris mon message sur le mauvais ton. Je dis qu’il suffit de ne pas apprendre à l’IA à détruire l’humanité en ne parlant pas de cette possibilité sur un sujet où on parle justement de ça. Et je ne parle pas des centaines de livres et films qui illustrent ça aussi et qui ont ete utilisé pour nos IA.
L’article de The Gus est un truc insipide écrit par une IA, mais ce que dit Yoshua Bengio a beaucoup plus de sens.
Jusqu’à récemment, une IA c’était un service sur lequel on faisait une requête. S’il n’y a pas de requête, il n’y avait rien qui se passait.
Maintenant nous avons des agents qui peuvent se requêter eux-mêmes. Il est donc très difficile d’imaginer jusqu’où pourra aller cette autonomie. Dans le scénario le plus invraisemblable, on pourrait imaginer que ces agents créent une sorte de conscience collective.
Mais avant d’aller jusque là, on peut aussi se dire que l’homme s’est très bien d’auto-détruire lui même.
Quelques faits inquiétants récents :
- le gouvernement américain a arrêté son contrat avec Anthropic car l’entreprise a refusé que son IA soit utilisé dans deux cas : la surveillance de masse des citoyens américains et les armes mortelles entièrement autonomes (Le Pentagone cesse toute collaboration avec l’intelligence artificielle d’Anthropic et se tourne vers OpenAI). Est-ce un problème d’IA ? Non, c’est un problème d’hommes qui créent des armes pour s’entretuer. La chine ferait déjà de la surveillance de masse avec des agents IA. Palantir a probablement des systèmes très avancés incluant de l’IA pour ses missions de surveillance également.
- l’autre anecdote fait plus sourire. Summer Yue, directrice de l’AI Safety & Alignment chez Meta, a confié la gestion de sa boîte email à un agent configuré avec OpenClaw. L’agent est mis a supprimer des emails automatiquement alors que son prompt demandait de demander avant de faire toute action (Bug OpenClaw : l'agent IA efface la boîte mail d'une directrice de Meta - Numerama). Est-ce que l’IA est mal intentionnée dans ce cas ? Non. Suite au volume de données il y a eu une compression des instructions et l’instruction demandant de valider aurait été supprimé. C’est une mauvaise utilisation de l’IA. En voulant confier des tâches de façon autonome à une technologie encore mal comprise et imparfaite, on se met nous-mêmes à risque.
Tout ça pour dire que je ne pense pas que ce soit l’IA en soit qui pose problème aujourd’hui. C’est nous et notre capacité et volonté à vouloir déléguer des décisions importantes à un système tierce.
Hum… pour moi c’est un peu comme dire “un fusil,ce n’est pas dangereux. C’est nous qui le sommes car nous appuyons sur la gachette”.
Mais l’İA a plein d’applications bénéfiques. Alors que le fusil, au mieux tu peux l’utiliser (non chargé) comme batte de cricket, et je doute de la qualité de service rendu par l’objet dans ce cas là 
En fait, l’İA, c’est plutôt comme un couteau à pain.
Et bien oui il y a un peu de ça.
Imaginons que tu donnes le fusil à ton enfant et qu’il tue sa mère avec. C’est la faute de l’enfant tu penses ?
Il y a des terrains d’entrainement,des sports, des parcs d’attractions etc où on utilise des fusils de façon “bénéfiques”, si tu vas par là…