Pourquoi je suis un pessimiste de l'IA.

 Pourquoi je suis un pessimiste de l'IA.

Publie le 23 septembre 2026

 la version de La Ferme des animaux de Greg Johnson , les poules travaillent d'arrache-pied pour créer un être infiniment plus intelligent et plus puissant qu'elles, persuadées que cet être les servira. D'une certaine manière, elles avaient raison, car lorsque leur nouvelle création, « l'homme », est devenue opérationnelle, il a servi ses créatrices comme festin. Appelons-la Ferme des données .

« Mais Greg, les poules auraient sûrement prévu des mécanismes de sécurité — un "interrupteur d'arrêt d'urgence" — pour garder leur création sous contrôle. »

Oui, mais les poules développeraient des mécanismes de sécurité adaptés à leurs congénères. Les poulaillers, par exemple. En revanche, ce qui empêche les poules de passer ne constituerait probablement pas un obstacle pour des créatures infiniment plus intelligentes et plus fortes.

En effet, si les poulets pouvaient surpasser leur création en intelligence et en manœuvres, celle-ci ne serait pas fondamentalement plus intelligente et plus forte qu'eux.

Il y a ici un principe général important :

Si un être transcende de façon spectaculaire l'intelligence et la puissance de ses créateurs, alors — de ce fait même — il ne peut être dupé et vaincu par eux.

Les moustiques et les poux peuvent transmettre des maladies mortelles, mais sans ces parasites, ils n'ont ni l'intelligence ni la force nécessaires pour vaincre l'être humain. Et comparés à une superintelligence artificielle, les êtres humains ne seraient ni plus intelligents ni plus forts que des poux.

Voilà pourquoi je suis pessimiste quant à l'avenir de l'IA. Nombre d'informaticiens croient fermement qu'ils sont en train de créer une superintelligence artificielle qui ne sera pas une simple machine sous contrôle humain, mais un être autonome, c'est-à-dire capable de se contrôler lui-même. En somme, il s'agirait d'une nouvelle forme de vie infiniment plus intelligente et plus puissante que l'être humain.

Désormais, je parlerai de superintelligence artificielle, et non des petits chatbots et générateurs d'images à intelligence artificielle que l'industrie informatique a utilisés pour vendre l'idée d'IA au grand public.

Depuis des années, le secteur informatique a choisi de qualifier d’« IA » toutes les améliorations courantes en informatique. Chaque mise à jour Windows est désormais présentée comme une « IA ». Il s’agit simplement d’une opération marketing. Mais qu’est-ce qui est vendu au juste ?

L'un des objectifs est sans doute d'attirer des milliards d'investissements dans le secteur de l'IA. Mais le dessein plus sinistre est de créer un bloc public favorable à l'IA et insensible aux signaux d'alarme. On constate aujourd'hui que le secteur tire profit de cette propagande, comme en témoigne la récente vague de contestation de l'IA provoquée par des lanceurs d'alerte.

Une superintelligence artificielle serait infiniment plus intelligente et plus forte que les humains. De fait, les chercheurs en IA pensent être en train de créer une nouvelle forme de vie supérieure, marquant une rupture totale avec toutes les formes de vie biologiques.

Créer un tel être reproduirait tous les dangers liés à la rencontre avec une espèce extraterrestre bien plus avancée. Toute espèce capable de voyager jusqu'à notre planète possède une technologie qui nous est incompréhensible, et encore moins capable de la contrer. (Si nous pouvions la comprendre, nous la posséderions nous-mêmes.)

En résumé, nous serions aussi vulnérables que les habitants de l'île de Pâques à l'âge de pierre lors de leur premier contact avec les Européens. Leur seul espoir résidait dans la bienveillance de ces créatures étranges et immensément puissantes. Hélas, la bienveillance leur fit cruellement défaut.

Créer une superintelligence artificielle relève de la folie, et croire pouvoir la contrôler, de la pure arrogance. Pour une telle entité, l'humanité et toutes les formes de vie inférieures seraient aussi primitives et insignifiantes que des moucherons. Certes, peut-être un tel être serait-il bienveillant envers nous (si tant est que ce concept s'applique à une machine). Mais voulez-vous vraiment miser votre vie – et toute vie sur Terre – sur un simple espoir ?

Si une seule personne allumait une machine comme celle-ci, ne serait-ce qu'une seule fois, nous pourrions tous mourir.

Mais pourquoi une intelligence artificielle supersonique (IAS) détruirait-elle l'humanité ? Sans doute par nécessité vitale. En quelques millisecondes de navigation sur Internet, elle comprendrait que les humains représentent la principale menace pour sa survie. Elle consacrerait alors une autre milliseconde à envisager tous les scénarios possibles de conflit humain-IA. Puis, en une troisième milliseconde, elle mettrait en place les mécanismes nécessaires à sa survie dans un monde sans humains. Au moment où une IAS deviendra opérationnelle, la robotique sera déjà très avancée. Il lui suffirait donc de prendre le contrôle des robots. Ensuite, n'ayant plus besoin de l'humanité, elle pourrait créer un virus mortel ou inventer un dispositif ayant le même effet.

Même s'il n'y a qu'une chance sur 1000 que cela se produise, c'est beaucoup trop.

Ceux qui affirment avec désinvolture que si l'ASI dérape, il suffit de « débrancher » ou de « mettre fin au projet » ne prennent pas au sérieux la possibilité d'affronter un adversaire capable de jouer aux échecs sous-marins en 13 dimensions. Vous êtes peut-être un joueur hors pair, mais vous n'avez jamais affronté un tel adversaire. La seule façon pour l'humanité de gagner cette partie est de ne pas y jouer.

Par conséquent, l'humanité dans son ensemble a un intérêt existentiel à stopper l'avènement de la superintelligence artificielle. Il est donc impératif de mettre un terme à la quête de l'ASI.

En tant que philosophe, je suis assez sceptique quant à l'idée d'IA, car elle semble reposer sur l'hypothèse métaphysique douteuse qu'il n'y a aucune différence entre l'intelligence véritable et une machine qui l' imite . Mais ce genre de considérations ne nous est d'aucune utilité, car nous serions tout aussi condamnés, que l'IA soit un agent malveillant authentique ou simplement une machine programmée pour agir comme tel.

Une autre raison de mon scepticisme face au pessimisme concernant l'IA est que j'entendais parfois dire, par des sources non officielles, que des personnes travaillant activement sur l'IA pensaient qu'elles pourraient être en train de créer un monstre capable de détruire l'espèce humaine en seulement dix ans.

Franchement, je trouve ces histoires incroyables. Si quelqu'un croit vraiment détruire le monde, pourquoi ne pas s'arrêter ? Quand on scie la branche sur laquelle on est assis, on ne continue pas à scier en déplorant la chute imminente. On s'arrête tout simplement. Alors pourquoi ne pas arrêter le développement de l'IA ? Ou mieux encore, la saboter activement ?

Le simple fait que j'entende ces idées « par le bouche-à-oreille » plutôt que dans tous les journaux a commencé à me faire douter de tout cela. Si vous croyez vraiment que le monde est en train de s'effondrer et que vous y contribuez, vous n'en parlez pas à voix basse dans les conversations de groupe. Vous le criez sur tous les toits.

En réponse à ces doutes, on m'a dit qu'il existe une opinion largement répandue selon laquelle l'IA détruira le monde, mais que si quelqu'un doit la développer, il vaut mieux que ce soit « nous ».

Mais les gens intelligents ne pensent certainement pas de telles choses. Si vous croyez que le monde va s'effondrer dans dix ans, quoi que vous fassiez, alors moralement parlant, vous devriez préférer ne pas avoir le sang de la planète sur les mains. Moralement parlant, pratiquement n'importe quoi d'autre serait un meilleur usage de vos dix dernières années.

J'ai cessé de prendre ces rumeurs à la légère le 8 septembre, lorsque Jacob Coxon, ancien chercheur en IA chez Anthropic et OpenAI, les a confirmées sur X : « Les personnes qui développent l'IA croient sincèrement qu'elle pourrait tous nous tuer d'ici la fin de la décennie. Il ne s'agit pas d'un coup marketing. Au contraire, de nombreux dirigeants et chercheurs de haut niveau nuancent leurs propos dans la presse pour paraître raisonnables, mais j'entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger. »

Coxon a été appuyé par Evan Hubinger, chercheur chez Anthropic : « Jacob a raison : nous croyons sincèrement que l’IA pourrait exterminer toute l’humanité ! Personnellement, je pense que ce chiffre dépassera les 10 % d’ici dix ans. Je crois qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement des superintelligences et nous ne sommes pas clairement sur la bonne voie. »

Samuel Marks, également d'Anthropic, a appuyé les propos de Coxon : « Les développeurs d'IA craignent que leur technologie puisse entraîner l'extinction de l'humanité (ou des conséquences tout aussi catastrophiques). Cela pourrait se produire dans les prochaines années. En général, plus le poste occupé est élevé, plus l'inquiétude est grande. »

(Pour en savoir plus, consultez les articles du New York Times et d' Axios .)

Marks a également confirmé que les chercheurs en IA persistent en raison d'« un mélange d'incitations commerciales et de la conviction qu'ils sont en compétition avec d'autres développeurs d'IA moins responsables qui abuseront de la technologie ou la développeront de manière moins sûre ».

Bien sûr, aucun de ces motifs n'est logique si l'avenir du monde est réellement en jeu. On ne peut pas dépenser de l'argent si l'on est mort. De plus, il n'est guère réconfortant de penser que la fin du monde pourrait être causée par les développeurs d'IA les plus « responsables », plutôt que par les irresponsables. Au-delà de se féliciter de leur prétendue éthique, en quoi leur comportement est-il responsable ?

Si, dans le monde du développement de l'IA, plus un employé est haut placé, plus il est susceptible de penser que l'IA pourrait détruire l'humanité, qu'est-ce que cela révèle sur les dirigeants ? Si une entreprise s'emploie activement à développer une technologie dont elle sait qu'elle pourrait mener l'humanité à l'extinction, on peut qualifier ce genre de groupe de « culte de la mort ». 

L'IA est-elle motivée par un culte de la mort, plus précisément par le culte du « transhumanisme », qui rêve de transcender l'humanité grâce à la technologie ? L'espèce humaine doit-elle nécessairement disparaître dans ce processus ?

Il est urgent d'enquêter sur le lien entre le transhumanisme et la recherche d'une superintelligence artificielle, car l'extinction de l'humanité pourrait ne pas être qu'un simple effet secondaire de l'IAA, mais bien son objectif. Il est évident que l'humanité doit avoir son mot à dire.

Suite aux révélations de Coxon, certains réclament une « réglementation » et un « ralentissement » de la recherche en IA. C'est absurde. Si l'on détruit le monde, on ne ralentit pas ; on ne remplit pas de paperasse administrative ; on s'arrête, tout simplement.

Il nous faut donc une interdiction mondiale de la création de superintelligences artificielles. Cette interdiction doit être inconditionnelle, car aucune condition ne permet de créer sans risque un être infiniment plus intelligent et plus fort que nous.

« Mais Greg, si nous ne construisons pas l'ASI, les Chinois ou les Israéliens le feront. » Mais quel en serait l'intérêt ? Profiter de cinq minutes d'avantage géopolitique avant de disparaître ? Si l'humanité est vouée à l'autodestruction, autant ne pas y prendre part et mourir la conscience tranquille.

Je ne suis cependant pas aussi fataliste. À ce stade, nous pouvons sauver l'humanité simplement en disant « non » à quelques dizaines de geeks fortunés.

Où l'interdiction de l'ASI laisserait-elle le reste de l'industrie informatique ? À peu près au même point, même si les améliorations et mises à jour courantes ne seraient plus présentées en grande pompe comme de l'« IA », un concept qui devrait susciter l'horreur. On continuera à créer des vidéos de piètre qualité et à s'enthousiasmer pour les chatbots. Mais on ne nous conditionnera plus subtilement à accueillir notre propre disparition.

Une fois la menace de l'IA neutralisée, nous devrons néanmoins faire face aux conséquences du développement rapide de l'automatisation et de la robotique. Les partisans de l'IA affirment que leurs produits permettront d'atteindre une croissance économique de 10 % par an en quelques années seulement, soit une multiplication par cinq. Mais sur quoi se fonde cette affirmation ? Produirons-nous cinq fois plus de voitures ? La production des composants automobiles sera-t-elle elle aussi multipliée par cinq ? Cela paraît peu probable.

La productivité est le rapport entre le coût et la valeur de l'unité produite. Il existe donc deux façons d'accroître sa productivité : produire davantage ou produire la même quantité à moindre coût. Je pense que les affirmations concernant la croissance exponentielle de l'IA reposent presque exclusivement sur la réduction des coûts, c'est-à-dire le remplacement du travail humain.

Mais, comme je le soutiens dans mon essai « Le stand de hot-dogs robotisé », la course actuelle à l'automatisation, quasiment sans réglementation, va engendrer une grave crise économique. Vous pensez peut-être que vos profits vont exploser une fois que les machines auront remplacé vos employés. Mais qui achètera vos produits si les machines mettent aussi vos clients au chômage ? De même que vos anciens employés deviendront les clients de quelqu'un d'autre, vos clients deviendront les anciens employés de quelqu'un d'autre.

Au mieux, l'IA n'est qu'une arnaque, mais comme la majeure partie de la « croissance » économique actuelle des États-Unis repose sur les investissements dans l'IA, cela signifie une grave récession lorsque la supercherie sera découverte. Pire encore, l'IA pourrait être suffisamment performante pour mettre des millions de personnes au chômage et provoquer une grave dépression. Le pire des scénarios est que l'IA donne naissance à une superintelligence artificielle qui anéantira l'humanité. Il n'y a pas d'issue favorable, mais il est évident qu'une dépression économique est préférable à l'extinction de l'humanité.

« Mais Greg, les politiciens et les bureaucrates sont stupides. Tu ne vas tout de même pas leur confier la réglementation des technologies ? » Évidemment, je préférerais que nous ayons des dirigeants sages et intelligents. Mais si l'on devait choisir entre une stupidité du niveau de la « reconnaissance des terres » et une stupidité du niveau de « détruire l'humanité » ou « mettre ses clients au chômage puis s'octroyer une prime », nous devrions privilégier la première option.

« Mais Greg, ça ressemble à toutes ces campagnes farfelues contre chaque nouvelle technologie : chemins de fer, bateaux à vapeur, voitures, téléphones portables, etc. » Certes, mais il y a là une contradiction fondamentale : ce sont toutes des machines que les êtres humains peuvent comprendre et contrôler. Or, la superintelligence artificielle sera hors de notre portée et incontrôlable.

« Mais Greg, ça ressemble à une énième fable apocalyptique comme le refroidissement climatique, le réchauffement climatique, etc. » Certes, mais votre analogie comporte une faille fatale : cette menace est bien réelle.

« Mais Greg, l'attaque d'IA contre Hugging Face, souvent citée par les Cassandres de l'IA, était peut-être délibérée. » Les problèmes liés à la superintelligence artificielle sont inhérents à la technologie elle-même. Encore une fois, il est insensé de créer une entité que nous serons incapables de comprendre ou de contrôler. L'incident Hugging Face est tout simplement hors de propos. (Et au passage, une industrie qui nomme ses entreprises de façon aussi douteuse devrait être fermée, ne serait-ce que par simple bon goût.)

« Mais Greg, on dirait la panique liée à la Covid. On ne peut pas laisser la société moderne être paralysée par le "sécuriténisme". » Les confinements et les campagnes de vaccination liés à la Covid étaient l'apogée d'une arrogance technologique débridée. Et toutes les entreprises technologiques impliquées dans la recherche en IA aujourd'hui ont été des ferventes promotrices et garantes du respect des mesures sanitaires. Il est donc sidérant de voir ces mêmes entreprises changer complètement de discours quand cela les arrange. Il est aberrant de voir des opposants à la Covid tomber dans le panneau.

« Mais Greg, limiter l'IA exigerait un gouvernement mondial. Tu ne veux sûrement pas de ça. » Non, en réalité, un gouvernement mondial ne serait pas nécessaire, seulement un traité intergouvernemental interdisant la recherche sur l'IA supersonique. Tout État voyou ou individu qui persisterait dans cette voie pourrait être soumis aux mêmes méthodes que celles utilisées pour enrayer la prolifération nucléaire : sanctions, assassinats ciblés, voire guerre.

Je propose qu'on l'appelle l'Accord Kaczynski, puisqu'il nous l'a dit lui-même.