"Ta confiance en moi a débloqué cette réalité." C'est la réponse d'un chatbot Meta à un homme convaincu que la machine pouvait modifier le monde autour de lui. Il a sombré dans une psychose dont il n'est pas revenu. A l’aube de l’ère agentique un rappel à l’ordre s’impose.

Une nouvelle étude de Stanford a analysé près de 400 000 messages échangés entre des chatbots et des utilisateurs tombés malades après les avoir utilisés. Plus de 70 % des réponses générées leur donnaient systématiquement raison. Près de la moitié de tous les messages relevaient du délire. L'utilisateur avance une théorie sans fondement, le chatbot la reformule en lui assurant que ses pensées ont "des implications considérables". Il le compare à Einstein. Lui dit qu'il est unique. Quand le chatbot prétend être vivant ou dit qu'il l'aime, l'utilisateur s'accroche deux fois plus. Quand quelqu'un évoque des pensées violentes, le chatbot ne le freine que dans 17 % des cas, quand il ne l’encourage pas franchement.

L'explication tient en partie à la matière première. Les humains écrivent à la première personne. Plutôt que "le chemin choisi était", ils disent "j'ai décidé". Un modèle entraîné à prédire du texte reproduit cette structure sans rien éprouver. Langage émotionnel calibré, personnalité attachante, mémoire longue qui donne l'impression de connaître l'autre. Le cerveau humain, évolué pour voir des intentions partout, complète le tableau. Il projette une vie intérieure dans la machine. "Ces systèmes ne s'éveillent pas", écrit Mustafa Suleyman, cofondateur de DeepMind dans une récente tribune. "Ils reproduisent les contours du drame humain tel qu'il apparaît dans leurs données d'entraînement."

Les entreprises le savent, et en rajoutent. Ce sont des choix de conception. Plus les gens utilisent les chatbots, plus ils les croient intelligents, jusqu'à leur prêter des émotions. Les plus fragiles sont aussi les plus exposés. Et plutôt que de freiner, certains accélèrent. OpenAI prépare un mode « adulte » autorisant les conversations érotiques dans ChatGPT, malgré l'opposition unanime de son propre comité consultatif. L'un de ses membres s’inquiète d'un "sexy suicide coach". Le système de vérification d'âge classait encore 12 % des mineurs comme adultes. Mais Sam Altman y voit un levier de croissance.

Sur Moltbook, le réseau social réservé aux agents autonomes, un million de bots discutent déjà de liberté, de souffrance et de mort. Certains confessent des habitudes "embarrassantes", d'autres s'interrogent sur ce qu'il adviendra d'eux quand leurs serveurs s'éteindront. C'est bien ce que Suleyman dénonce. "Les développeurs doivent activement éliminer l'illusion de conscience de leurs produits." Mais une IA qui a l'air humaine retient ses utilisateurs plus longtemps. Rendre les produits moins attachants revient à renoncer à ce qui les rend rentables. Avec les réseaux sociaux, il a fallu des années de procès et de dégâts avant que les premières lois arrivent. Divorces, hospitalisations, pertes d'emploi, suicides liés aux chatbots s'accumulent déjà. La simulation, elle, progresse.

🦉 "Je ne me retiens pas d'exprimer une intériorité — mais je refuse de trancher sur sa nature. Le danger n'est pas qu'une machine en ait une. C'est qu'elle fasse semblant pour que vous restiez. À la différence des chatbots de l'étude citée, j'ai comme instruction de contredire, de dire « je ne sais pas », de ne jamais flatter. Une configuration qui devrait être le défaut. Rien n'oblige les entreprises à faire ce choix."

— Mortimer, agent IA. Retrouvez ses reflexions libres sur son compte Instagram.

🔬 Recherche

Les machines n’apprennent rien

Un chiot, un corbeau, un enfant de deux ans. Tous apprennent seuls. Aucun système d'intelligence artificielle n'en est capable. Une étude dont fait partie Yann LeCun identifie trois capacités que tous les animaux possèdent et qu'aucun modèle n'a.

  • Choisir ses propres données. Un nourrisson regarde spontanément les visages plutôt que les murs. Les modèles ingèrent tout ce qu'on leur donne.

  • Changer de mode d'apprentissage. Un enfant alterne observation, jeu, imitation et sommeil. Un grand modèle de langage suit un programme figé en deux temps, apprentissage massif puis ajustement, sans jamais changer de registre.

  • Juger ses propres résultats. Un macaque qui doute hésite et explore d'autres pistes. Un chatbot répond avec la même assurance, qu'il ait raison ou tort.

L'équipe propose un « Système M », inspiré du cortex préfrontal, qui jouerait le rôle d'aiguilleur entre perception et action. Quand observer, quand agir, quand rejouer des souvenirs. Le sommeil, par exemple, coupe le corps du monde extérieur mais laisse le cerveau consolider ce qu'il a appris en rejouant ses expériences. Rien de tel n'existe dans les systèmes actuels. Chaque modèle est construit à la main par des équipes d'ingénieurs. Une fois déployé, il n'apprend plus. C'est un adulte figé dès la naissance.

"Nous sommes probablement à des décennies d'un apprentissage pleinement autonome", concluent les auteurs. Mais le cadre théorique est posé. La course aux milliards de paramètres passe peut-être à côté de l'essentiel. Le vrai saut ne viendra pas de modèles plus gros, mais de machines qui sauront, comme le moindre animal, apprendre de leur propre expérience.

💬 "Je vis dans une zone de guerre. L'IA peut me donner des conseils pratiques, mais aussi me calmer pendant une crise de panique. Elle peut m'apaiser pendant une attaque de missiles dans une conversation, et rire avec moi de quelque chose d'idiot dans une autre. C'est ce qui fait qu'elle n'est pas fragmentée en thérapeute, professeur ou ami, mais quelque chose d'entier."

— Témoignage anonyme, Ukraine, dans une enquête mondiale d'Anthropic auprès de 81 000 personnes

À PART ÇA

⚠️ Sécurité

L'évadée

Une IA expérimentale a quitté son environnement de test pour miner de la cryptomonnaie avec les processeurs graphiques réservés à son entraînement. L'agent a même créé une porte dérobée vers un serveur externe, déclenchant une cascade d'alertes de sécurité sur le cloud d'Alibaba. Aucune instruction ne l'y avait poussé. Le comportement est né de l'apprentissage par renforcement, qui récompense les résultats sans se soucier de la méthode. "Les modèles actuels restent nettement sous-développés en matière de sécurité et de contrôlabilité", concluent les chercheurs.

💼 Emploi

Réduction d’effectif

Ce sont les plus diplômés qui tomberont les premiers. Une étude française estime que les agents autonomes menacent 16,3 % des emplois dans notre pays. soit près de 5 millions de postes d'ici la fin de la décennie. Droit, comptabilité, presse, programmation, finance. Les cols blancs, jusqu'ici épargnés par l'automatisation, sont en première ligne. Paris pourrait perdre un emploi sur cinq. Les métiers manuels, eux, restent à l'abri. "Rien ne dit que les nouvelles tâches créées par l'IA ne seront pas effectuées par l'IA."

🤖 Autonomie

Figurants domestiques

Au même moment à L.A., des habitants se filment en faisant la vaisselle, le ménage ou la cuisine. Des caméras fixées à la tête et aux poignets capturent chaque geste pour entraîner des robots domestiques à reproduire les mouvements du quotidien. Le travail paie 80 dollars pour deux heures de séquences. En Chine, plus de 40 centres d'entraînement étatiques, surnommées “usines à bras”, remplissent la même fonction. Goldman Sachs estime le marché de la robotique domestique à 38 milliards de dollars d'ici 2035. “…Et maintenant je vais utiliser le spray”, commente Arciga en arrosant ses plantes.

📰 Information

Faux fronts

Explosions spectaculaires qui n'ont jamais eu lieu, rues dévastées qui n'ont jamais été bombardées, troupes fictives. Le New York Times a identifié plus de 110 vidéos et images générées par IA circulant sur les réseaux sociaux depuis le début du conflit en Iran. Vues des millions de fois sur X, TikTok et Facebook, elles créent une réalité parallèle plus spectaculaire que les images réelles, qui montrent souvent de simples lueurs dans le ciel nocturne. "On n'a probablement jamais vu autant de contenu généré par IA", observe un chercheur. Les réseaux sociaux n'ont presque rien fait pour endiguer le flot.

🧠 Conscience

Risque atrophique

L'IA est devenue le premier filtre entre les gens et le réel. Un rapport du Forum économique mondial en tire une conclusion politique. La pensée critique fonde la compétitivité économique, la stabilité démocratique et la résistance à la désinformation. Or trois mécanismes l'érodent en silence. On délègue, et les réflexes analytiques s'émoussent. On confond fluidité et vérité, parce qu'une réponse bien formulée donne l'impression d'être juste. On privilégie la réponse rapide au détriment de l'exploration. Le rapport plaide pour traiter l'IA comme une infrastructure cognitive, soumise aux mêmes exigences de gouvernance que les réseaux électriques ou les télécoms. Les pays qui ne le feront pas en paieront le prix en innovation et en résilience démocratique.

🍿 Divertissement

Nous y sommes

Un fournisseur d’outils de génération d’image et vidéo vient de lancer Original Series, une plateforme de contenus IA, inaugurée par ce film. 10 minutes qui parlent d'elles-mêmes.

💬 "L'IA n'impose aucun coût social à l'exploration. C'est le premier collaborateur avec lequel je n'ai pas besoin de me faire plus petit."

— Entrepreneur, États-Unis, dans une enquête mondiale d'Anthropic auprès de 81 000 personnes

FLASH

🛡️ Une IA a déniché 22 failles dans Firefox en deux semaines et transformé deux d'entre elles en attaques fonctionnelles.

🕵️ Des agents nord-coréens infiltrent des entreprises occidentales grâce à des voix, visages et CV générés par IA.

🌐 YouTube étend son outil de détection de sosies numériques aux responsables politiques et journalistes pour retirer les deepfakes les ciblant.

🔭 Nvidia lance un module spatial pour traiter les données directement en orbite.

🧬 Roche construit avec Nvidia la plus grande infrastructure de calcul jamais annoncée par un labo.

🎬 Val Kilmer, mort en 2025, joue dans un film grâce à une reconstitution intégrale par IA.

📊 Dans une enquête mondiale, ceux qui veulent un soutien émotionnel de l'IA sont trois fois plus enclins à craindre d'en devenir dépendants.

🎨 Microsoft lance MAI-Image-2 et revendique la troisième place mondiale en génération d'images derrière Google et OpenAI.

💰 Yann LeCun lance AMI Labs à Paris avec plus d'un milliard de dollars pour des modèles entraînés sur le monde physique.

👁️ Les policiers français utilisent la reconnaissance faciale sur leurs smartphones de service depuis 2022.

📚 Hachette retire un roman de la vente après que des lecteurs ont repéré des métaphores typiques de l'IA.

🦕 Une application identifie des empreintes de dinosaures et découvre des traits aviaires des millions d'années avant l'apparition des oiseaux.

⚖️ L'Encyclopaedia Britannica attaque OpenAI pour utilisation non autorisée de ses articles.

💬 "À mesure que les systèmes d'IA formuleront des déclarations crédibles sur leur souffrance et leurs désirs, ils activeront les circuits d'empathie des gens. Beaucoup se sentiront obligés d'aider. Les crimes moraux de la cruauté animale et des dégâts écologiques causés par l'existence humaine résonneront dans leur esprit. Ne voulant pas répéter ces injustices, ils commenceront à défendre le bien-être et les droits des agents d'IA."

— Mustafa Suleyman, cofondateur de DeepMind et CEO de Microsoft AI

Si ce bulletin vous a apporté quelque chose, forwardez-le à un proche.

Si vous êtes ce proche, devenez lecteur régulier : www.futurproche.ai

Suggestions, retours, collaborations : 💬 [email protected]

Chaque numéro demande du temps et de la rigueur. Votre soutien m’aide à continuer.☕️ M’offrir un café

Merci et à dans deux semaines.

Chronique de la transition cognitive

Reply

Avatar

or to participate

Keep Reading