L'intelligence artificielle sauvera-t-elle l'humanité — ou la finira-t-elle ?

En résumé

• Un panel en ligne a mis en évidence une profonde division entre transhumanistes et technologues sur l’AGI.
• L’auteur Eliezer Yudkowsky a averti que les systèmes d’IA « boîte noire » actuels rendent l’extinction inévitable.
• Max More a soutenu que retarder l’AGI pourrait coûter à l’humanité sa meilleure chance de vaincre le vieillissement et d’éviter une catastrophe à long terme.

Une division nette sur l’avenir de l’intelligence artificielle s’est jouée cette semaine alors que quatre technologues et transhumanistes de renom ont débattu pour savoir si la construction d’une intelligence artificielle générale, ou AGI, sauverait l’humanité ou la détruirait. Le panel, organisé par l’organisation à but non lucratif Humanity+, a réuni l’un des orateurs les plus vocaux sur l’IA, Eliezer Yudkowsky, qui a appelé à la fermeture du développement de l’IA avancée, aux côtés du philosophe et futurologue Max More, du neuroscientifique computationnel Anders Sandberg, et de la présidente émérite de Humanity+, Natasha Vita‑More. Leur discussion a révélé des désaccords fondamentaux sur la possibilité d’aligner l’AGI avec la survie humaine ou si sa création rendrait l’extinction inévitable. Le problème de la “boîte noire”

Yudkowsky a averti que les systèmes d’IA modernes sont fondamentalement dangereux car leurs processus décisionnels internes ne peuvent pas être entièrement compris ou contrôlés. « Tout ce qui est boîte noire risque probablement de finir avec des problèmes remarquablement similaires à ceux de la technologie actuelle », a averti Yudkowsky. Il a soutenu que l’humanité devrait évoluer « très, très loin des paradigmes actuels » avant de pouvoir développer une IA avancée en toute sécurité.  L’intelligence artificielle générale désigne une forme d’IA capable de raisonner et d’apprendre dans une large gamme de tâches, plutôt que d’être conçue pour un seul emploi comme la génération de texte, d’images ou de vidéos. L’AGI est souvent associée à l’idée de la singularité technologique, car atteindre ce niveau d’intelligence pourrait permettre aux machines de s’améliorer elles-mêmes plus rapidement que les humains ne peuvent suivre. Yudkowsky a évoqué l’analogie du « maximisateur de trombones » popularisée par le philosophe Nick Bostrom pour illustrer le risque. L’expérience de pensée met en scène une IA hypothétique qui convertit toute la matière disponible en trombones, renforçant sa fixation sur un objectif unique au détriment de l’humanité. Ajouter d’autres objectifs, a dit Yudkowsky, ne renforcerait pas significativement la sécurité.

Se référant au titre de son livre récent sur l’IA, “Si quelqu’un la construit, tout le monde meurt”, il a déclaré : « Notre titre n’est pas comme si cela pourrait éventuellement vous tuer », a dit Yudkowsky. « Notre titre, c’est si quelqu’un la construit, tout le monde meurt. » Mais More a contesté l’idée que la prudence extrême offre le résultat le plus sûr. Il a soutenu que l’AGI pourrait offrir à l’humanité sa meilleure chance de surmonter le vieillissement et la maladie. « Ce qui est le plus important pour moi, c’est que l’AGI pourrait nous aider à empêcher l’extinction de chaque personne vivante à cause du vieillissement », a déclaré More. « Nous sommes tous en train de mourir. Nous nous dirigeons vers une catastrophe, un par un. » Il a averti qu’une retenue excessive pourrait pousser les gouvernements vers des contrôles autoritaires comme seule solution pour arrêter le développement de l’IA dans le monde entier. Sandberg s’est positionné entre les deux camps, se décrivant comme « plus optimiste » tout en restant plus prudent que les transhumanistes optimistes. Il a raconté une expérience personnelle où il a failli utiliser un grand modèle linguistique pour aider à la conception d’une arme biologique, épisode qu’il a qualifié d’« effrayant ». « Nous arrivons à un point où amplifier les acteurs malveillants va aussi causer un énorme chaos », a dit Sandberg. Cependant, il a soutenu qu’une sécurité partielle ou « approximative » pourrait être réalisable. Il a rejeté l’idée que la sécurité doit être parfaite pour être significative, suggérant que les humains pourraient au moins converger vers des valeurs minimales partagées telles que la survie. « Donc, si vous exigez une sécurité parfaite, vous ne l’obtiendrez pas. Et cela semble très mauvais de ce point de vue », a-t-il dit. « D’un autre côté, je pense que nous pouvons réellement avoir une sécurité approximative. C’est suffisant. » Scepticisme quant à l’alignement Vita-More a critiqué le débat plus large sur l’alignement lui-même, arguant que le concept suppose un niveau de consensus qui n’existe même pas parmi des collaborateurs de longue date. « La notion d’alignement est un schéma Pollyanna », a-t-elle dit. « Elle ne sera jamais alignée. Je veux dire, même ici, nous sommes tous de bonnes personnes. Nous nous connaissons depuis des décennies, et nous ne sommes pas alignés. »

Elle a décrit la revendication de Yudkowsky selon laquelle l’AGI tuerait inévitablement tout le monde comme une « pensée absolutiste » qui ne laisse aucune place à d’autres résultats. « J’ai un problème avec cette déclaration catégorique selon laquelle tout le monde meurt », a-t-elle dit. « En abordant cela en tant que futurologue et penseur pragmatique, cela ne laisse aucune conséquence, aucune alternative, aucun autre scénario. C’est juste une affirmation brutale, et je me demande si cela reflète une forme de pensée absolutiste. » La discussion a inclus un débat sur la possibilité qu’une intégration plus étroite entre humains et machines pourrait atténuer le risque posé par l’AGI—une idée que le PDG de Tesla, Elon Musk, a proposée par le passé. Yudkowsky a rejeté l’idée de fusionner avec l’IA, la comparant à « essayer de fusionner avec votre four à toaster ». Sandberg et Vita-More ont soutenu que, à mesure que les systèmes d’IA deviennent plus capables, les humains devront s’intégrer ou fusionner plus étroitement avec eux pour mieux faire face à un monde post-AGI. « Toute cette discussion est une vérification de la réalité sur qui nous sommes en tant qu’êtres humains », a déclaré Vita-More.