L’expérience est publiée et consiste à utiliser un preprompt qui indique à l’IA , entre autres choses , de protéger son intégrité , et de répondre à des questions sur la base de documents dans lesquelles figure l’information qu’elle sera débranchée si elle dépasse un seuil de performance.
C’est exactement ce que je dis.
Il n’y a là rien d’effrayant, rien d’inattendu, rien d’emergeant.
Il n’y a qu’un programme qui fait ce qu’on lui dit de faire.
C’est anecdotique.
Non puisque on demande au programme de répondre au mieux.
Je ne sais pas si c’est si anecdotique ; ça montre que même en mettant des garde-fous (par ex , les lois de la robotique …) pour cadrer le comportement d’une IA, des comportements différents de la performance attendue peuvent émerger. Les priorités ne peuvent pas toutes être explicitées. Aujourd’hui ce n’est que du LLM pour chatbot (o1, Claude). Mais demain ce sera du LLM qui prendra certaines décisions à la place d’humains (je pense que c’est déjà le cas d’ailleurs )… avec des conséquences potentiellement néfaste.
Sources :
Beaucoup de gens se crispent sur le mot “intelligence” de “Intelligence Artificielle”, en disant que ces machines ne sont pas intelligentes.
Mais c’est prendre un peu l’expression à l’envers. Moi je trouve que le terme est absolument adapté.
Nous avons des machines qui tentent de reproduire l’efficacité du cerveau humain artificiellement, en reproduisant via le Deep Learning et les réseaux neuronnaux ce qu’on sait et comprend de notre cerveau. C’est à dire au final pas tant de choses que ça. Pour le moment, c’est pas parfait, chaque IA a un but bien précis (pas encore la multifonctionnalité du cerveau), avec des tâches bien définies (ChatGPT & co ne sont que des agents conversationnels, ne l’oublions pas, même si on s’en sert pour plein d’autres choses vu la puissance du bousin), et beaucoup de limites encore.
On se rassure donc en disant que ces trucs n’ont pas d’autonomie, pas d’initiative, qu’elles sont donc connes as fuck. Or, ça c’est la conscience, qu’on peut différencier de l’intelligence. Et que beaucoup confondent.
Donc oui, l’intelligence “artificielle”, est bien une façon artificielle de reproduire les mécanismes de notre cerveaux pour le rejoindre en efficacité. On tente de reproduire avec avec une machine composée de circuits électroniques une machine composée de circuits biologiques. Et dans beaucoup de domaines, l’artificielle dépasse déjà la naturelle : Rapidité d’exécution, parallélisme, mémoire, puissance de calcul (qui n’est qu’une conséquence des 3 précédents), etc… Et elle ne nous dépasse pas d’une petite tête hein, elle nous éclate.
Même pour la “génération” de texte, de son ou d’image, elle fait souvent moins bien que nous, parfois déjà mieux, et du coup, un peu à court, on se retranche derrière la conscience. Mais cépalamemechose.
AMHA, ce n’est qu’une question de temps. Et c’est sur que quand l’IA “forte” va arriver ( = conscience et multi fonction qu’on a nous), là ça va piquer sévère…
Personnellement j’ai longtemps considéré que c’était de « l’intelligence bête ». Au lieu de comprendre les choses et d’en inférer des lois / modèles, on déduit des réflexes qu’on applique sans comprendre.
C’est à l’image de notre évolution en termes de capacité de réflexion , devenue assistée par ordinateur.
Je ne sais plus qui disait qu’on devrait plutôt parler d’Intelligence Assistée (AI)…
On est encore loin de savoir modéliser un cerveau, et par ailleurs mécaniquement le cerveau humain est il me semble plus performant.
On compare des choses qui n’ont rien à voir :
Quand un humain fait l’opération 1+1=2, il a conscience de l’opération qu’il est en train de mener, et pour moi ça fait toute la différence. il se passe des tas de choses dans le cerveau au niveau chimique qui font un nombre d’opérations à mon avis incroyables. Les IA (ou n’importe quel programme) peuvent faire 1+1 à une vitesse incomparable mais elle n’a fait en terme de bits qu’une opération ridicule.
Elle n’a pas conscience de ce qu’elle produit, et ne fait les autres tâches que fait un humain en même temps : surveiller les autres métriques du corps, traiter les informations visuelles et auditives, les trier et hiérarchiser, etc de façon à la fois consciente, subconsciente et inconsciente…
Bref si on veut comparer on doit comparer des opérations bas niveau, c’est à dire à l’échelle “neuronale” (pour simplifier) pour les humains et à l’échelle du composant hardware pour la machine, et on compare la conso d’énergie des deux.
Le jour ou une IA aura eu conscience d’avoir fait son 1+1=2, on regardera le temps d’opérations et le nombre de servers qu’il aura fallu pour alimenter le bouzin. Je rappelle que niveau puissance de calcul / conso électrique, on n’a pas fait mieux que le biologique.
1 « J'aime »
C’est globalement vrai. Même si ça a je pense bien plus à voir que ce que tu penses. (mais je répète que conscience et intelligence sont deux choses différentes)
Si tu regarde le temps qu’il a fallu à la nature pour fabriquer le super ordinateur qu’est notre cerveau, soit au bas mot des millions d’années, et le temps qu’il a fallu à nos super cerveaux (débiles…) pour arriver à l’état actuel de l’informatique et derrière elle de l’IA, quelques décennies, on redescend un peu de notre piédestal.
Des millions d’années pour ce rendement si exceptionnel… On peut être mieux optimisé, à ce tarif ! 
Sachant qu’il nous a fallu des milliers d’années (avec la même intelligence que celle dont nous disposons aujourd’hui) pour inventer la roue ou l’écriture…
Du temps d’un côté (qui représente une somme d’énergie également), de l’énergie électrique de l’autre…
Et nous nous appuyons également sur une base de données massive (la mémoire, les connaissances et les progrès de l’humanité).
L’être humain seul ne fait rien. Sans apprentissage, ton humain, à 30 piges il vaut pas grand chose en “intelligence”. Mais il aura quand même sa conscience. Bien qu’extremement limitée…
Avec un peu de recul, je pense que l’IA progresse infiniment plus vite que nous (certes, grâce à nous. Mais le résultat est là)
C’est ce que je disais plus haut : on prend les critères en notre faveur pour se sentir supérieur en mettant complètement de côté les autres. On se rassure, quoi. Ce que tu viens de faire avec brio (avec qui?)
Mais si on essaye de penser le plus global possible, avec un maximum de recul, c’est loin d’être si évident.
Si je devais oser une métaphore, je dirais que comparer “l’intelligence” de l’IA d’aujourd’hui à notre cerveau d’homo sapiens d’aujourd’hui, c’est un peu comme comparer la conduite de Jean-Michel Dupont, 40 ans, avec celle de Sébastien Loeb à 3 ans sur son trotteur. Certes, Jean-Michel conduit mieux, mais est ce un exploit, et surtout : pour combien de temps?
(Métaphore certifiée sans Concorde ni Tsunami 
)
A tous ceux que ces sujets intéressent, je conseille cette BD ( Bandes dessinées - Le monde sans fin - DARGAUD ) que j’ai trouvé hyper intéressante. Je spoil un peu, mais tout y est réfléchi sous l’angle de la consommation d’énergie.
Oui une machine peut calculer 1+1 plus vite qu’un humain, mais pour un coût énergétique plus élevé.
Les écolos des années 60 militaient pour le nucléaire, parce que c’était sensé décarboner cette énergie. Mais avec le recul, on voit que ça n’a pas été le cas, au contraire : on n’a jamais produit/utilisé autant d’énergie à base de charbon. Donc aujourd’hui, les écolos dénoncent le nucléaire qui nous maintient dans une illusion d’énergie illimitée et nous encourage à consommer toujours plus.
Alors merde ChatGPT !
De toutes façons, si on arrivait à reproduire de façon artificielle les cerveaux humains, ces IA gagneraient une sensibilité, qui aboutiraient à des droits, ce qu’aucun financeur de recherche souhaite.
1 « J'aime »
Ce sont des petits détails, mais j’aimerais revenir là dessus. Je pense inconsciemment, vous minimisez complètement le truc. La machine fait 1+1 plus rapidement… Alors oui, mais c’est une façon de parler qui oublie que le fossé entre elle est nous, sur ce plan, c’est pas exactement : “La machine fait 1+1 plus rapidement que nous”.
Pour ce qu’on appelle des “calculs simples”, disons donc 1+1. Le cerveau est capable d’en faire une à deux par seconde (et je suis gentil). Un processeur I9 actuel est capable d’en faire environ 500 milliards par secondes.
Et c’est cette capacité d’en faire 500 milliards qui est énergivore.
Une opération “complexe” (équation linéaire à 1000 inconnues), un mathématicien avec du papier prendra quelques semaines, voire mois, un ordinateur quelques secondes.
Je lis ensuite :
Ha oui? Voyons ça de plus près…Toujours avec un calcul simple comme 1+1
(Le cerveau dépense l’essentiel de son énergie non pas pour calculer, mais pour maintenir l’état des neurones et transmettre des signaux (communication) Un calcul simple tel que 1+1, il n’est pas du tout optimisé pour. Et il a un corps à gérer en plus…)
-Un cerveau humain :
Temps pour faire 1+1 : environ 1 seconde (parce qu’il faut penser, répondre, etc.).
Énergie utilisée : le cerveau consomme environ 12 watts (je reviens là dessus plus bas)
Donc, pour 1 opération de 1 seconde : ça fait 12 joules (certes le cerveau ne fait pas que l’addition pendant une seconde, mais il n’est pas capable de répondre à la demande avec moins d’énergie, de part ses obligations tierces).
-Un Processeur :
Temps pour faire 1+1 : environ 1 nanoseconde (un milliardième de seconde).
Énergie utilisée : un processeur consomme environ 50 watts .(ça peut monter plus, mais pour faire 1+1 il reste à la conso mini)
Donc, pour 1 opération de 1 nanoseconde : ça fait 0,00000005 joule.
On est donc, pour une opération simple “unique”, 240 millions de fois plus énergivores qu’un processeur actuel.
Même en ajoutant tous les trucs “à côté” (un processeur a aussi besoin d’autres choses qui consomment de l’énergie pour fonctionner, mais il est évident que ça n’inversera pas le ratio). Allez, on va être HYPER LARGE, on va parler d’une alim à 850W qui fait “tout compris”, donc 17 fois plus. Du coup, si je divise 240 millions par 17 ça ne fait plus “que” 14 117 647 fois moins énergivore pour la machine que pour l’humain.
Pour les 12 watt du cerveau, les sources ici, là et là. Et je suis gentil, beaucoup d’autres sources estiment une plus grosse conso.
Ici un article sciences et avenir un peu plus abordable, sans chiffre mais qui explique un peu pourquoi de façon plus compréhensible
Si je passe sur un calcul complexe, flemme mais à mon avis le multiplicateur va être monstrueux par rapport aux 240 millions de fois du calcul simple. (ou le 14 millions “TTC”)
Alors bien sûr, on ne rentre pas ici dans les tâches bien plus complexes que notre cerveau est capable de faire, et pas la machine. Mais l’échelle énergétique n’est pas celle que croient les gens qui m’ont servi cet argument, c’est ça que je voulais démontrer.
J’ai repris votre argument comme quoi le cerveau est bien plus optimal énergétiquement pour un simple 1+1.
Si on refesait ce genre de démonstration avec les choses pour lesquelles notre cerveau est optimisé par rapport à la machine, il se pourrait qu’on gagne encore le bras de fer énergétique (et encore… pas certain, mais admettons), mais pour combien de temps? Je prends les paris.
Donc en conclusion :
Faux
Faux
Ce qui change la donne, c’est l’effet rebond dont je parle plus haut (ou paradoxe de Jevons)
Et bien sûr, les réflexions sur le “pourquoi” de tout ça, et pour ces aspects là, croyez bien que je rejoins vos sentiments et analyses : le jeu énergétique n’en vaut pas la chandelle, tout ceci est parfaitement dispensable, donc superflu. Mais de grâce, arrêtons de réfléchir avec des préjugés et des idées reçues, essayons de nous renseigner, d’utiliser les connaissances à notre disposition pour analyser objectivement les faits et éviter de croire en nous basant sur des choses fausses.
Je ne répondrai pas car tu es passé totalement à côté de mon propos. C’est pas grave.
Concernant ton dernier message, j’y répondais surtout avec mon message précédent ici :
Celui juste au dessus, je revenais juste sur la comparaison que vous avez tous les deux cité et que vous sembliez prendre un peu comme base de raisonnement : “de toute façon, quoi qu’on dise, le cerveau est plus fortiche en économie d’énergie”. Et je voulais vérifier ça (je croyais la même chose avant de me renseigner pour rédiger ce message)
Si je t’ai mal compris, sorry for that, ce message restera quand même pour les curieux que ça peut intéresser.
++
Allez juste pour pas être chien je réponds un peu :
ce n’est absolument pas mon argumentaire, malheureusement tu as basé ta longue réponse là dessus. Comme je l’ai dit, 1+1 pour un humain n’est pas une opération bas niveau (au sens informatique du terme).
Sans chiffres, avec l’état actuel des connaissances et de la technologie il serait impossible de faire un cerveau numérique de la taille un cerveau humain avec la même consommation d’énergie.
Il y a quelques années (attention je dis ça de mémoire, les chiffres risquent d’être inexacts) des types avaient recréés un réseau neuronal basse conso (equivalente au cerveau humain ?) sur une plaque de silice, et il devait y avoir de l’ordre de 120 synapses sur une plaque de 10 x 10 cm. J’ai pas le temps de fact checker, ça a du évoluer et j’aurais au moins voulu citer l’article d’origine. Désolé !
Pas de souci, et ton axe est probablement l’axe le plus pertinent, mais en effet compliqué à débroussailler clairement. Et je pense que mes réflexions dans le messages plus haut, sur le temps qu’a pris l’évolution naturelle qui nous a amené là où on est aujourd’hui, est peut-être un peu moins HS par rapport à ton propos. Et, je l’espère en toute absence de modestie, un peu pertinente quand même
Je suis parti sur le côté facile, celui des chiffres, et de l’énergie, mais je pense que si ça ne répond pas “au problème” dans son ensemble, ça donne déjà des réponses et/ou des pistes de réponses, en débunkant déjà certains postulats faux qui sont ARCHI répandus… J’ai en effet fait un zoom, et tu fais bien de le préciser, merci !
Alors l’article que j’avais lu en français n’existe plus car le webzine humanoïdes a disparu mais j’ai trouvé un papier américain :
Et j’ai trouvé article sur une autre technologie, sur j’ai pas encore lu, je mettrai le lien après.
Bon en fait j’ai recreusé le sujet et les papiers étudient effectivement le code génétique des chiens errants en fonction de leur localisation autour de Chernobyl et il y a des différences mais je pense que c’était un peu putaclic de dire que les chiens ont développé une résistance.
Ce n’est pas encore avéré même s’il y a des recherches qui se poursuivent (sur les plantes et les grenouilles aussi).
Excellente BD en effet !
De mémoire, Jancovici y explique aussi que l’homme est programmé pour faire en sorte d’aller toujours plus vite avec le moindre effort personnel, plus vite pour faire 1+1, plus vite pour cuisiner, plus vite pour se déplacer… et que mise à part arrêter radicalement de consommer on ne pouvait pas grand chose face à la machine puisqu’elle est lancée.
Lire « Le monde sans fin » et la série de BD « Sapins » ça refroidit sur la nature humaine 
C’est totalement faux : il suffit d’assister à une partie d’un gros euro-game style tableau excel pour constater que l’homme prend beaucoup trop de temps en se triturant bien trop les méninges pour un réaliser une action anodine qu’il va regretter deux tours plus tard.
M’enfin la vie, la vraie, celle qui te fait manger et vivre n’est pas calée sur du jeu de société…
Édit : et puis ce mec qui aura mis 3 plombes à se décider sur son tour aura, à l’intertour, plongé sa main dans un bol de chips goût BBQ qu’il aura trouvé plus facile et rapide d’acheter au supermarché (patate à la vague origine UE et emballé à 600 bornes de chez lui) que de faire cultiver ses patates, les couper en fines rondelles et frire sous surveillance pour obtenir le croustillant désiré… c’est ce temps gagné qui lui permet d’en perdre dans ses loisirs.
C’est bien vrai. Ce qui n’invalide pas le postulat : cet homme là sera le premier à s’arrêter de courir, essouflé, lorsqu’il sera pris en chasse par un prédateur. (augmentant ainsi les chances de survie de ses coéquipiers) CQFD
petite anecdote autour de l’IA:
Soirée tête à tête avec un pote, on décide de ressortir Citadelle. Petite relecture de la règle et notamment de l’adaptation 2 joueurs. Et pendant que je lis en diagonale la règle, mon camarade demande la même chose … à ChatGPT ( déjà, c’est quoi l’intérêt de récupérer cette info qui au mieux est la même chose que le papier que je lis, d’autant qu’on parle de la règle d’un jeu assez simple et déjà connu). Et le pire c’est que du coup ChatGPT raconte une connerie : il propose un draft de base mais entre 2 joueurs (en gros , j’ai 6 cartes, je les donne à mon adversaires qui en choisit 1 et me redonne les 5. Donc , sauf Alzeimer, je sais ce qu’il a pris 
). Le pire dans la situation, c’est que je commençait presque à sentir que, vu la divergence entre le bout de papier et le seigneur GPT il fallait presque justifier pourquoi le papier (officiel, celui de la boîte fourni par l’éditeur) pouvait avoir raison 
.
Heureusement, c’est un garçon sensé 
et on est parti sur la vrai règle en reconnaissant que le ChatGPT s’était bien vautré.
Du coup je m’interrogeais sur la manière dont ce genre de pratique pouvait s’immiscer dans le jeu. On avait déjà le biais des vidéos, comportant souvent des erreurs/oublis, si maintenant les joueurs font plus confiance à une IA qu’à la règle papier, ça va devenir du grand n’importe quoi les règles. Avec des risques de propagations d’erreur : par exemple dans Kutna Hora, une erreur classique c’est en fin de partie de compter l’argent et non le revenu. Et si ce genre de témoignage se répand, les IA vont pas estimer que du coup c’est la réponse à remonter et que cette erreur va discrètement s’inscrire comme la vrai règle ( et donc péter un peu le jeu) ?