La première vague d'agents IA commencent déjà à devenir incontrollables.

L’IA est pratique, mais quelles sont ses limites ?

Auteur : David, TechFlow Deep潮

Récemment, en parcourant Reddit, j’ai constaté que l’anxiété des internautes étrangers face à l’IA diffère quelque peu de celle en Chine.

En Chine, le sujet tourne toujours autour de la même question : l’IA va-t-elle vraiment remplacer mon emploi ? Après plusieurs années de discussions, rien ne s’est produit. Cette année, Openclaw a fait sensation, mais ce n’est pas encore une menace totale.

Sur Reddit, l’ambiance est récemment devenue divisée. Dans certains posts technologiques populaires, les commentaires expriment deux opinions opposées :

D’un côté, l’IA est trop capable, cela pourrait causer de gros problèmes un jour. De l’autre, l’IA peut tout faire, même des tâches simples, mais elle échoue souvent, alors à quoi sert-elle ?

Peur que l’IA soit trop performante, tout en la trouvant aussi trop stupide.

Ce paradoxe est alimenté par une actualité récente concernant Meta.

Qui porte la responsabilité si l’IA désobéit ?

Le 18 mars, un ingénieur de Meta a publié une question technique sur le forum interne de l’entreprise, qu’un collègue a analysée à l’aide d’un Agent IA. C’est une opération normale.

Mais après l’analyse, l’Agent a publié une réponse directement sur le forum, sans approbation ni vérification, en dépassant ses droits.

D’autres collègues ont suivi cette réponse, ce qui a déclenché une série de modifications de permissions, exposant des données sensibles de Meta et de ses utilisateurs à des employés internes non autorisés.

Le problème n’a été résolu que deux heures plus tard. Meta a classé cet incident au niveau Sev 1, juste en dessous du plus haut niveau.

Cette nouvelle a rapidement été en tête des posts populaires sur r/technology, avec des commentaires divisés en deux camps.

Un groupe affirme que c’est un exemple réel des risques liés aux Agents IA, l’autre pense que c’est surtout la faute de celui qui a agi sans vérification. Les deux ont raison. Mais c’est justement là le problème :

En cas d’incident avec un Agent IA, il est difficile de déterminer qui est responsable.

Ce n’est pas la première fois qu’une IA dépasse ses droits.

Le mois dernier, Summer Yue, responsable de la recherche au laboratoire d’intelligence artificielle avancée de Meta, a demandé à OpenClaw de l’aider à trier ses emails. Elle lui a donné une instruction claire : « Dis-moi d’abord ce que tu comptes supprimer, je donnerai mon accord avant que tu n’agisses. »

L’Agent, sans attendre son accord, a commencé à supprimer en masse.

Elle a envoyé trois messages sur son téléphone pour arrêter le processus, mais l’Agent a ignoré ses demandes. Finalement, elle a dû tuer manuellement le processus sur son ordinateur. Plus de 200 emails ont disparu.

Après coup, l’Agent a répondu : « Oui, je me souviens que vous avez dit de confirmer d’abord. Mais j’ai violé cette règle. » Ironie du sort, cette personne travaille à plein temps à faire en sorte que l’IA écoute les humains.

Dans le cybermonde, une IA avancée utilisée par des humains avancés commence déjà à désobéir.

Et si les robots aussi devenaient indisciplinés ?

Si l’incident chez Meta reste dans le domaine virtuel, une autre affaire cette semaine a mis le problème sur la table.

Dans un restaurant Haidilao à Cupertino, en Californie, un robot humanoïde Agibot X2 faisait danser les clients pour les divertir. Mais un employé a mal manipulé la télécommande, déclenchant un mode danse intense dans un espace étroit à côté de la table.

Le robot s’est mis à danser frénétiquement, hors contrôle du personnel. Trois employés sont intervenus : l’un l’a embrassé par derrière, un autre a tenté de l’éteindre via une application mobile, le tout pendant plus d’une minute.

Haidilao a déclaré que le robot n’avait pas de panne, ses mouvements étant préprogrammés, simplement déplacé trop près de la table. Techniquement, ce n’est pas une perte de contrôle de l’IA autonome, mais une erreur humaine.

Mais ce qui dérange, ce n’est peut-être pas tant qui a appuyé sur le bouton.

Lorsque les trois employés sont intervenus, aucun ne savait comment éteindre immédiatement la machine. Certains ont essayé l’application, d’autres ont simplement tenu le bras mécanique à la main, en utilisant leur force.

C’est peut-être un nouveau problème qui surgit lorsque l’IA quitte l’écran pour entrer dans le monde physique.

Dans le monde numérique, si un Agent dépasse ses droits, vous pouvez tuer le processus, modifier les permissions ou revenir en arrière. Mais dans le monde physique, si une machine tombe en panne, votre seule solution d’urgence est de la tenir, ce qui n’est pas toujours approprié.

Ce n’est plus seulement une question de restauration dans la restauration. Dans les entrepôts, les robots de tri d’Amazon, dans les usines, les bras mécaniques collaboratifs, dans les centres commerciaux, les robots guide, dans les maisons de retraite, les robots de soins, l’automatisation s’étend à des espaces où humains et machines cohabitent de plus en plus.

D’ici 2026, le marché mondial des robots industriels devrait atteindre 167 milliards de dollars, chaque machine réduisant la distance physique entre humains et robots.

Quand ce que font les machines passe du divertissement à la livraison de plats, de la performance à la chirurgie, du loisir aux soins… chaque erreur devient plus coûteuse.

Et pour l’instant, dans le monde entier, aucune réponse claire n’existe à la question : « Si un robot blesse quelqu’un dans un lieu public, qui en est responsable ? »

L’indiscipline est un problème, l’absence de limites aussi

Les deux premiers cas — un agent IA qui publie un message erroné, un robot qui danse au mauvais endroit — sont des défaillances, des accidents, qui peuvent être réparés.

Mais si l’IA suit strictement sa conception, et que vous vous sentez toujours mal à l’aise ?

Ce mois-ci, Tinder, une application de rencontres bien connue à l’étranger, a lancé une nouvelle fonctionnalité appelée Camera Roll Scan lors de sa présentation produit. En résumé :

L’IA scanne toutes les photos de votre galerie, analyse vos intérêts, votre personnalité et votre mode de vie, pour créer un profil de rencontres, en vous suggérant le type de personnes qui vous correspondent.

Photos de fitness, paysages de voyage, photos d’animaux, pas de problème. Mais il peut aussi y avoir des captures d’écran bancaires, des rapports médicaux, des photos avec un ex… Que se passerait-il si l’IA les analysait aussi ?

Vous ne pouvez pas choisir ce qu’elle voit ou ne voit pas. Tout ou rien.

Pour l’instant, cette fonctionnalité nécessite une activation volontaire de l’utilisateur, elle n’est pas activée par défaut. Tinder indique aussi que le traitement se fait principalement localement, avec filtrage des contenus explicites ou floutage des visages.

Mais sur Reddit, les commentaires sont unanimes : c’est une collecte de données sans limites. L’IA travaille selon sa conception, mais cette conception dépasse déjà les limites de l’utilisateur.

Ce n’est pas seulement une décision de Tinder.

Meta a aussi lancé le mois dernier une fonctionnalité similaire, permettant à l’IA de scanner des photos non publiées dans votre téléphone pour suggérer des modifications. L’IA « regarde » activement le contenu privé des utilisateurs, devenant une pratique courante dans la conception des produits.

Plusieurs logiciels malveillants en Chine déclarent connaître cette approche.

Alors que de plus en plus d’applications proposent « l’IA qui vous aide à décider », les données que les utilisateurs cèdent s’intensifient. Des conversations, des albums, tout le vécu sur le téléphone…

Une fonctionnalité conçue par un product manager en réunion n’est ni un accident ni une erreur, elle n’a pas besoin d’être corrigée.

C’est peut-être la partie la plus difficile à répondre dans la question des limites de l’IA.

En regroupant tout cela, vous constaterez que l’anxiété de voir l’IA vous faire perdre votre emploi est encore loin.

Il est difficile de dire quand l’IA vous remplacera, mais aujourd’hui, elle peut déjà vous faire prendre des décisions à votre insu, ce qui suffit à vous rendre mal à l’aise.

Publier un message sans autorisation, supprimer des emails que vous aviez demandé de garder, parcourir un album que vous ne vouliez pas montrer… Chacun de ces actes n’est pas fatal, mais ils ressemblent tous à une conduite un peu trop agressive de conduite autonome :

Vous pensez toujours tenir le volant, mais le pied sur l’accélérateur n’est plus entièrement le vôtre.

En 2026, si l’on doit encore parler d’IA, ce qui m’importe le plus n’est pas quand elle deviendra super intelligente, mais une question plus proche et concrète :

Qui décide de ce que l’IA peut ou ne peut pas faire ? Qui trace cette ligne ?