Sebastian Mallaby sur la sécurité de l’IA et la course à la superintelligence
Yascha Mounk et Sebastian Mallaby discutent des raisons pour lesquelles les leaders de la tech craignent et accélèrent à la fois le développement d’une IA dangereuse, et s’interrogent sur les risques.
Si vous souhaitez que je continue à partager mes écrits en français, je vous serais reconnaissant de transmettre cette publication à trois amis et de les inviter à s’abonner.
- Yascha
Sebastian Mallaby est l’auteur de plusieurs ouvrages, dont The Infinity Machine: Demis Hassabis, DeepMind, and the Quest for Superintelligence. Ancien rédacteur en chef adjoint du Financial Times et deux fois finaliste du prix Pulitzer, Mallaby est Paul A. Volcker Senior Fellow en économie internationale au Council on Foreign Relations.
Dans la conversation de cette semaine, Yascha Mounk et Sebastian Mallaby discutent des raisons pour lesquelles les développeurs d’IA craignent et font progresser simultanément une technologie potentiellement dangereuse, de la question de savoir si les modèles d’IA open source présentent des risques de sécurité inacceptables, et des différences entre les approches de la Chine et des États-Unis en matière de sécurité de l’IA.
Ce qui suit est une traduction abrégée d’une interview enregistrée pour mon podcast, « The Good Fight ».
Yascha Mounk : Il y a quelque chose qui m’a frappé à propos de la Silicon Valley en général, et que vous mettez vraiment en lumière dans votre livre à travers le prisme d’un personnage spécifique : c’est que tant de gens dans la Silicon Valley semblent à la fois croire que l’intelligence artificielle est une technologie miraculeuse qui apporte beaucoup de bienfaits, mais aussi une technologie vraiment dangereuse — une technologie qui pourrait potentiellement anéantir toute l’humanité. Certains des efforts majeurs visant à faire progresser l’intelligence artificielle ont en fait été motivés par la volonté de comprendre cette technologie et de la faire évoluer de manière à ce qu’elle soit sûre. Pourtant, ces mêmes personnes semblent être à l’avant-garde du développement de la technologie même dont elles préviennent qu’elle pourrait détruire le monde.
Comment devons-nous interpréter cela ? S’il ne s’agissait que d’une seule personne, on pourrait penser qu’il s’agit d’une forme de schizophrénie, mais on voit ce thème réapparaître sans cesse dans différents contextes — à travers l’histoire de la création d’OpenAI et de Sam Altman, mais aussi, bien sûr, dans l’histoire de DeepMind, que vous racontez dans votre nouveau livre
Sebastian Mallaby : Oui, vous avez tout à fait raison. J’ai été stupéfait de constater que si l’on pense à n’importe lequel des premiers laboratoires — comme DeepMind, fondé en 2010 —, les deux fondateurs scientifiques, Shane Legg et Demis Hassabis, se sont rencontrés lors d’une conférence sur la sécurité. Puis, si l’on regarde 2015 : les premières discussions entre Elon Musk et Sam Altman au sujet de la création d’OpenAI portaient toutes sur la sécurité, sur le fait d’être responsable, d’être plus sûr que DeepMind. C’était comme une sorte de compétition en matière de sécurité.
Ensuite, on avance et le laboratoire suivant qui voit le jour est Anthropic, qui a été lancé comme un groupe dissident estimant qu’OpenAI n’était pas assez sûr. Ils reproduisent donc en quelque sorte l’histoire qui s’était déjà produite plus tôt dans la rivalité entre OpenAI et DeepMind. Chacun de ces laboratoires a commencé avec l’idée qu’il serait plus sûr. Même Elon Musk, lorsqu’il se lance dans Grok ou XAI, arrive avec un passé où il a proclamé sa terreur du risque existentiel lié à l’IA, remontant à 2012, lorsqu’il a rencontré Demis Hassabis pour la première fois.
Vous avez donc raison, ils sont tous schizophrènes et c’est un schéma récurrent. Comment interpréter cela ? Eh bien, en fin de compte, j’ai le sentiment qu’il s’agit d’une version amplifiée de nous tous. Vous et moi, nous sommes à la fois enthousiasmés par la technologie et effrayés par elle. Pourtant, nous faisons le pari, nous allons de l’avant. Pourquoi agissons-nous ainsi ? Parce que nous sommes humains. Si nous ne le faisions pas, les humains vivraient encore dans des cavernes. Nous acceptons le risque technologique, et c’est exactement ce que font ces gens-là.
Mounk : L’un des leitmotivs de votre livre est cette phrase que Geoffrey Hinton — un ancien invité de ce podcast — prononce, en référence à Oppenheimer, selon laquelle le frisson de la découverte est si intense que même si l’on s’inquiète beaucoup de ses implications, il est impossible d’y résister. Je me demande, d’après vos conversations avec Demis et d’autres acteurs du secteur, s’il est possible de réguler cette technologie.
J’ai trouvé cela très intéressant lorsque j’ai reçu Nate Soares dans le podcast — coauteur avec Eliezer Yudkowsky du livre If Anyone Builds It, Everyone Dies. Il m’a semblé trop pessimiste quant aux perspectives d’une annihilation technologique ; il pensait en gros que l’IA allait sans aucun doute essayer de nous tuer. Puis j’ai trouvé qu’il était vraiment optimiste quant à notre capacité à y faire face grâce à des politiques publiques — en mettant en place les incitations adéquates pour que personne ne construise la machine qui nous tuerait à coup sûr si nous la construisions. J’ai été frappé par son pessimisme sur le premier point et son optimisme sur le second.
OpenAI a été fondée pour être vraiment sûre, Anthropic est en quelque sorte une spin-off d’OpenAI, une spin-off hostile créée par des personnes inquiètes au sujet d’OpenAI, et aujourd’hui, Anthropic est en quelque sorte le leader du peloton. Cela signifie-t-il simplement que notre destin dépend de ce que sera la tendance naturelle de cette technologie ?
Mallaby : Non, je pense que c’est trop fataliste. Je suis d’accord avec vous pour dire que, selon le point de vue de Yudkowsky, il y a une caricature extrême à la fois du niveau de risque — une probabilité de 100 % de catastrophe, ce qui, à mon sens, est tout simplement ridiculement élevé — et, en même temps, un optimisme excessif quant à la capacité de nos politiques à y remédier. Cela me rappelle Jeffrey Sachs qui, il y a 20 ans, discutait de l’aide au développement : il soulignait toujours à quel point les pays en développement étaient profondément pauvres et dysfonctionnels, puis il disait : « mais si vous leur accordez beaucoup d’aide, nous pouvons tout régler ». Les deux parties avaient tort. Je pense que c’est une posture classique de ceux qui plaident en faveur d’une action gouvernementale radicale : exagérer le problème puis minimiser les défis politiques pour y remédier.
Mais je ne pense pas qu’il soit correct de dire que nous sommes otages d’une technologie sur laquelle nous n’avons aucun contrôle, car il existe des moyens de la contrôler — on peut contrôler à la fois son codage et sa conception algorithmique.
Il existe tout un domaine de recherche sur l’alignement visant à faire en sorte que les grands modèles linguistiques s’alignent sur les priorités humaines, et si davantage d’investissements y étaient consacrés, nous aurions de meilleures chances de mieux les aligner. C’est quelque chose qui peut être fait et sur lequel on peut travailler.
Un exemple en est le UK AI Security Institute, qui mène une partie de cette recherche sur l’alignement. Ils ont un jour découvert un moyen de pirater n’importe lequel des principaux grands modèles linguistiques à l’aide d’une phrase spécifique qui le déverrouillait pour lui faire faire des choses qui étaient censées être interdites. Une fois que vous découvrez cela, vous le signalez aux laboratoires et ils corrigent la faille, ils corrigent la vulnérabilité de sécurité. Le fait est que vous pouvez agir sur le plan algorithmique. Vous pouvez également agir sur le plan politique.
Les modèles d’IA open source et open weight sont ridiculement dangereux. Pourquoi autoriserait-on ce genre de technologie à circuler sans aucune possibilité de la rappeler si quelqu’un commençait à l’utiliser pour une cyberattaque massive contre des infrastructures ? C’est de la folie.
Mounk : Pouvez-vous expliquer un peu ce qu’est l’open source ? Je pense que les gens ne savent peut-être pas très bien ce que c’est en général, ni ce que cela signifie en matière d’IA.
En général, l’open source a toujours été l’approche idéaliste et altruiste du logiciel : vous pouvez le personnaliser vous-même, vous n’êtes pas à la merci d’un conglomérat d’entreprises. On observe une tendance chez les laboratoires d’IA qui ne sont peut-être pas à la pointe de la technologie – capables de créer des modèles très puissants, mais légèrement moins performants que les plus avancés – à passer à l’open source, car c’est un moyen d’attirer les gens vers ces modèles et de les inciter à les utiliser.
Comme vous le dites, cela signifie en gros que vous pouvez télécharger un modèle sur votre propre machine et l’exécuter à partir de celle-ci d’une manière qui n’est plus soumise au contrôle de son créateur d’origine. Dans de nombreux contextes, cela aura des aspects positifs : cela rend l’utilisation de la technologie moins coûteuse. Cela signifie, par exemple, que si je voulais traiter des informations vraiment sensibles, si je voulais créer un index pour un éditeur et que celui-ci ne voulait courir aucun risque que quelqu’un puisse entraîner ses modèles d’IA sur ces informations, je peux le faire avec un modèle open source car ce serait en boucle fermée. Je sais que les informations ne sont transmises à personne, car je ne les traite pas sur Internet.
Il y a donc beaucoup d’aspects positifs. Mais vous dites, ce qui est intéressant, qu’en termes d’atténuation des risques, c’est vraiment mauvais — car ces mêmes caractéristiques signifient aussi que si quelqu’un commence à utiliser cela pour développer une arme biologique très puissante, il n’y a aucun moyen pour quiconque de savoir que c’est à cela qu’il sert, ni de l’en empêcher.
Mallaby : Il y a eu récemment au Mexique une cyberattaque à grande échelle : les dossiers électoraux de pratiquement tout le monde ont été piratés. Cela a été fait avec l’aide d’Anthropic. J’ai entendu dire que c’était plus qu’une simple aide ; en gros, un groupe a utilisé Claude pour mener cette attaque et Claude a effectué la majeure partie du piratage à leur place. OpenAI a également été utilisé dans une certaine mesure, notamment le modèle ChatGPT. Une fois que les laboratoires ont découvert que cette attaque était en cours, ils l’ont stoppée, car ils en avaient la capacité — ce n’était pas en open source.
Elle ne se trouvait pas sur la machine des malfaiteurs ; elle était utilisée via un serveur contrôlé par les laboratoires. C’est un cas concret illustrant comment on peut mettre fin à une attaque.
J’ai participé à des exercices de simulation de guerre organisés par l’Institut RAND, et le scénario cauchemardesque classique est celui où des vagues successives d’attaques frappent les infrastructures occidentales, menées par un agresseur non identifié — ça pourrait être le gouvernement chinois, ça pourrait être un groupe terroriste, on ne sait tout simplement pas. Tout ce que l’on sait, c’est que toutes les infrastructures sont hors service : personne n’a d’eau potable, personne n’a d’électricité, tout le monde panique, et vous ne savez pas comment y mettre fin car vous ne savez pas qui est l’agresseur.
Pourquoi prendrions-nous ce risque ? Nous avons des jeux de guerre qui nous montrent comment cela se passerait. Nous sommes confrontés à cette réalité et nous devrions agir concernant les modèles open source. Ce n’est pas facile car ils circulent déjà, mais il faut au moins empêcher la création des plus puissants à partir de maintenant.
Mounk : Llama, les modèles de Meta, sont open source. Les Chinois ont également publié de nombreux modèles open source. Des entreprises comme DeepSeek, ainsi que les nombreuses autres entreprises chinoises qui disposent désormais de modèles d’IA assez puissants, ont créé des modèles très performants et très puissants, mais ils ne sont pas aussi performants que les dernières versions de ChatGPT, Claude et Gemini. Il y a une sorte de raison concurrentielle à publier des modèles open source si l’on est un peu à la traîne, car personne ne va payer un prix élevé pour avoir accès à votre modèle — les gens vont utiliser celui qui est le plus performant. Mais ces modèles sont suffisamment puissants pour que, si vous pouvez les mettre à la disposition du public à un prix bien inférieur, ils soient largement utilisés, ce qui est bon pour la visibilité et toutes sortes d’autres choses.
Il est frappant de constater que le gouvernement chinois, qui est en général manifestement très conscient de sa capacité à contrôler ce qui se passe dans son pays et, d’une certaine manière, dans le monde, a laissé cette situation se développer. Cela renvoie à une idée reçue plus large : l’une des dynamiques en jeu ici est une course à la compétitivité entre les États-Unis et la Chine, et la Chine serait moins intéressée par la sécurité de l’IA que les États-Unis. Je pense que vous n’êtes pas si sûr de cette idée reçue.
Mallaby : Une vision courante dans les cercles du gouvernement américain est la suivante : l’Union soviétique et les États-Unis ont traversé la crise des missiles de Cuba, ils ont compris le risque existentiel de la technologie nucléaire, ils saisissent que certaines armes peuvent être existentielles. Les Chinois, en revanche, associent le risque catastrophique du XXe siècle à la Grande Famine, à la Révolution culturelle, à des désastres d’origine politique. Ce ne sont pas les quasi-accidents technologiques. Au contraire, en Chine, la technologie est associée à la croissance miraculeuse des 25 dernières années. Ils veulent la technologie, ils adorent la technologie. C’est l’histoire classique, et si vous essayez de leur parler de limiter la technologie, vous pouvez oublier.
Je viens de passer huit jours là-bas et j’ai été vraiment frappé par la façon dont tant les chercheurs universitaires de haut niveau que les dirigeants des entreprises industrielles d’IA parlaient de sécurité. Quand j’étais là-bas, il y avait tout un tollé autour d’Open Claw — un agent que l’on peut télécharger sur son ordinateur et laisser faire des choses de manière autonome : gérer ses e-mails, faire ses courses, etc. C’est plutôt bien techniquement, mais c’est aussi dangereux car il faut exposer son ordinateur à cet agent et on ne sait pas ce qu’il va faire de toutes nos données. C’est une sorte de code open source, donc qui sait ce qu’il va faire.
Voulez-vous (ou connaissez-vous quelqu’un) qui aimerait recevoir mes articles et mes discussions directement dans votre boîte aux lettres en allemand ou en anglais?
Tous les professeurs de Tsinghua et autres chercheurs en IA à qui j’ai parlé disaient que les gens ne devraient pas télécharger ce logiciel — et pourtant, des files de Chinois lambda s’étendaient devant le siège de Tencent, attendant que des ingénieurs les aident à l’installer sur leurs ordinateurs portables. Finalement, le gouvernement est intervenu et a déclaré que les gens ne devaient pas l’installer.
Je pense que le débat bascule en Chine. L’État chinois n’est pas opposé à la réglementation — il a déjà largement réglementé Internet. Pourquoi ne voudrait-il pas contrôler les modèles open source, qui pourraient devenir dangereux ? Il me semble trop défaitiste de simplement supposer qu’il ne le fera pas.
Mounk : Une partie du problème réside peut-être simplement dans le fait que le mot « sécurité » est un terme très large et très vaste, et l’argument a été avancé selon lequel les gens y entendent des choses très différentes. Cela tient en partie au fait que les États-Unis sont très influencés par la science-fiction, et donc le type de sécurité que nous imaginons est celui de la montée en puissance des robots : les robots vont-ils essayer de nous tuer ? Même à un niveau un peu moins élevé, on pense à des risques comme les armes biologiques de synthèse, etc.
En Chine, lorsque les gens parlent de sécurité de l’IA, ils font en partie référence à la sécurité politique : ces machines doivent adhérer à un ensemble particulier de points de vue, ne pas donner trop d’informations sur certains événements historiques et présenter une image positive du Parti communiste chinois. Bien sûr, une grande partie de ce qui se passe lors de la phase post-entraînement aux États-Unis consiste à s’assurer que Gemini, ChatGPT, Claude, etc. ne franchissent pas non plus divers tabous sociaux et politiques. Une grande partie du travail de post-entraînement consiste à s’assurer que les chatbots savent qu’ils ne doivent pas utiliser certains types d’insultes et ne pas s’aventurer sur des terrains qui pourraient être politiquement sensibles.
Mais avez-vous constaté, lors de vos conversations en Chine, que lorsque vous prononcez les mots « sécurité de l’IA », les gens y entendent tout simplement autre chose ? Ou pensez-vous que cette différence a été exagérée ?
Mallaby : Il existe de nombreuses définitions de la sécurité, mais je parlais spécifiquement du risque d’alignement — l’idée que les robots ne seront pas alignés sur ce que veulent les humains et agiront en fait contre eux. C’est ce dont les gens me parlaient. C’était là tout l’enjeu de l’affaire Open Claw : les gens installaient un agent qui pouvait décider de son propre chef de faire quelque chose qui n’était pas dans l’intérêt de l’utilisateur.
Il ne s’agit pas de débats politiques sur ce que le grand modèle linguistique devrait ou ne devrait pas dire. Il s’agit en fait d’une question plus existentielle. Étroitement lié à cela, il y a le fait que ce n’est pas seulement la machine qui peut être un mauvais acteur : un mauvais acteur humain peut s’en emparer et l’utiliser pour fabriquer une arme biologique ou quelque chose de ce genre.
Mounk : Ces deux risques sont évidemment liés, mais il est important de les distinguer. De quels leviers dispose la politique publique pour réguler les risques existentiels liés à la sécurité de l’IA, ou les risques plus quotidiens, concrets ?
L’un des problèmes est simplement une question de concurrence. J’ai eu des conversations avec des personnes de l’Union européenne que j’ai trouvées un peu naïves à ce sujet — qui croient que « l’effet Bruxelles », qui leur permet de fixer une norme sur le fonctionnement d’une voiture et incite ainsi fortement les constructeurs automobiles à appliquer les mêmes normes dans différents contextes de fabrication, signifie que l’UE, en tant que marché important, peut imposer une réglementation qui sera globalement respectée aux États-Unis et ailleurs. Dans le contexte de l’IA,
où il n’existe tout simplement pas encore d’entreprises européennes d’IA très importantes — certainement pas à l’échelle mondiale —, cette logique ne tient pas la route. DeepMind est un cas intéressant car cette entreprise a vu le jour au Royaume-Uni, mais elle appartient désormais à un conglomérat américain. Certes, parmi les membres de l’Union européenne, il n’y a pas beaucoup d’acteurs majeurs dans le domaine de l’IA. Il y a Mistral, et il y a la nouvelle entreprise que Yann LeCun est en train de fonder, mais par rapport aux entités américaines et chinoises, ce sont des acteurs très modestes. Si quelqu’un conçoit une arme biologique sur l’une de ces machines open source, cela ne s’arrêtera pas aux frontières de l’Union européenne.
Il y a aussi un problème plus général : comment établir concrètement les règles techniques ? Quel type de règles nous permettrait d’atteindre l’alignement ? Avez-vous une idée de la manière dont on pourrait même commencer à réfléchir à cet espace politique ?
Mallaby : Ce sont deux points très différents. Permettez-moi de me concentrer sur la question de l’open source.
La première chose à dire au sujet des Européens, c’est qu’ils sont ravis de tolérer l’open source parce que Mistral produit de l’open source — Mistral se trouve précisément dans la situation évoquée plus tôt : si vous n’êtes pas à la frontière et que vous ne pouvez pas rivaliser sur la qualité, vous rivalisez sur la disponibilité et vous passez à l’open source. C’est la stratégie française. Ils n’ont même pas franchi le seuil de l’engagement sérieux envers l’open source qu’ils se mettent déjà à proclamer l’extraterritorialité de leur réglementation.
Essayer de mettre un frein à l’open source n’est pas une mince affaire. Il existe un énorme lobby d’entreprises comme Facebook Meta qui le développent, et en Europe, le gouvernement français souhaite que Mistral réussisse et veut donc soutenir ses stratégies open source. Mais s’il y avait un changement de politique et que les gouvernements décidaient de vouloir le contrôler, il suffirait de dire aux laboratoires situés sur leur territoire, ou souhaitant exercer leurs activités sur leur territoire, qu’ils ne peuvent pas être open source — du moins s’il s’agit d’un modèle de pointe. Il y aura des modèles universitaires expérimentaux et beaucoup plus modestes, qui seront open source, et cela ne posera probablement pas de problème. Mais les grands modèles de pointe, c’est une autre histoire.
Si vous êtes Mistral et que vous souhaitez vendre aux consommateurs américains, vous voudrez probablement lever des capitaux aux États-Unis — vous avez de nombreux points de contact avec les États-Unis, vous allez donc vous conformer à une décision réglementaire américaine. Le gros problème, c’est qu’il faut obtenir l’adhésion de la Chine, car elle constitue un écosystème à part entière. Aux États-Unis, on part du principe qu’il ne sert à rien même d’essayer d’entamer cette discussion. Pour avoir été sur place, je dis : non, ça vaut la peine. Je ne pense pas que Trump va s’y atteler, car il ne s’intéresse à rien d’autre qu’à l’accélération de l’IA.
Mounk : Il croit aussi fondamentalement en un monde à somme nulle, n’est-ce pas ? Il pense que la plupart des accords ont un gagnant et un perdant très clairs, ce qui ne rend pas très attrayant le fait d’essayer de conclure un accord dont le but serait que les deux parties y trouvent leur compte.
Mallaby : Il y a là une opportunité pour une initiative des puissances intermédiaires à la Mark Carney. Il a prononcé un discours célèbre à Davos dans lequel il a déclaré que le Canada et les Européens ne pouvaient pas compter sur les États-Unis : ils doivent se rassembler et agir collectivement plutôt que d’attendre l’Amérique, car cela ne servira tout simplement à rien au cours des trois prochaines années. En matière d’IA, c’est un domaine où l’Europe, et peut-être la Grande-Bretagne en particulier, pourrait entamer une discussion avec les Chinois sur la manière d’envisager l’open source. Le Royaume-Uni jouit d’une certaine crédibilité en la matière, à la fois parce que DeepMind y est basé et parce que son Institut de sécurité de l’IA est extrêmement performant. On entame la discussion — on ne pourra la mener à bien tant qu’il n’y aura pas de nouveau président américain, mais cela arrivera tôt ou tard. Cela vaut la peine d’entamer cette conversation.
Mounk : L’open source en est un élément. Qu’en est-il plus largement ? Si l’on imagine un véritable accord entre un nouveau président américain et peut-être un nouveau dirigeant chinois – tous deux prenant ces questions au sérieux et reconnaissant qu’il s’agit d’un risque réel pour l’humanité au-delà des frontières –, qu’est-ce qui pourrait réellement régir ces technologies ? Nous ne voulons probablement pas mettre fin à l’IA : ce n’est pas faisable, et elle peut également apporter d’énormes avantages, en médecine et dans les sciences plus largement, que nous ne voulons pas compromettre. Dans le même temps, les personnes qui ont créé ces technologies sont elles-mêmes extrêmement inquiètes quant aux dangers que cette technologie pourrait représenter pour l’humanité.
Mettons de côté pour l’instant toutes les contraintes politiques et imaginons que nous puissions rédiger l’accord et qu’il soit approuvé. Savons-nous réellement ce qu’impliquerait ce cadre ? Car il semble y avoir des questions intellectuelles très, très épineuses, ne serait-ce que sur le type de règles et de réglementations qui, A) contrôleraient efficacement ces risques existentiels, et B) le feraient sans compromettre tous les avantages potentiels de la technologie.
Mallaby : Demis Hassabis, le personnage central de mon livre sur l’IA, prône depuis longtemps ce qu’il appelle un CERN — comme le Centre européen de recherche nucléaire —, une sorte d’organe directeur qui superviserait l’IA sur une base multilatérale, proposerait des politiques et les ferait respecter, ou du moins définirait les politiques tandis que les gouvernements nationaux se chargeraient de leur application.
Les éléments de cette politique seraient les suivants : pas d’open source, du moins pas pour les grands modèles ; et davantage d’investissements dans l’alignement, une branche de la science et de l’ingénierie qui a besoin de ressources. Il faudrait peut-être aussi des incitations fiscales pour exiger que les laboratoires privés, chaque fois qu’ils dépensent un milliard de dollars dans un cycle d’entraînement pour rendre un modèle plus puissant, réservent, disons, 20 % de cette somme spécifiquement à la recherche sur la sécurité.
Le fait est que la sécurité est à la fois un bien privé et un bien public. Si vous êtes Google, vous voulez pas que vos clients aient l’impression que la technologie est dangereuse, vous avez donc des incitations privées à investir dans la sécurité. Mais il y a aussi des retombées sur des risques sociétaux plus larges — effondrement des infrastructures, renforcement des groupes terroristes — qui sont des biens publics, pas privés. Par conséquent, les pouvoirs publics doivent veiller à ce que le niveau d’investissement dans la sécurité atteigne le montant socialement optimal. Cela implique soit des dépenses publiques pour la recherche et l’ingénierie en matière d’alignement, soit de taxer les laboratoires et de les inciter à le faire.
Il y a donc deux points importants : ne pas mettre en open source les modèles de pointe, et mener davantage de recherches sur l’alignement. Le troisième point est que, tout comme la Food and Drug Administration examine les médicaments et détermine s’ils peuvent être commercialisés en toute sécurité, il devrait exister un organisme équivalent pour les modèles d’IA — ceux-ci devraient être évalués, soumis à des tests de sécurité (red-teaming), et ce n’est qu’ensuite qu’ils devraient être mis à la disposition des consommateurs. Cela n’existe nulle part dans le monde pour l’instant, ce qui est fou. Mais je pense que nous y parviendrons finalement, car soit les gouvernements changeront d’avis et le feront, soit il y aura une catastrophe du type Three Mile Island et le public l’exigera. La question est vraiment de savoir si nous le ferons avant ou après avoir subi une catastrophe liée à l’IA.
Mounk : Vous avez évoqué tout à l’heure P(doom)1 — la probabilité que cette nouvelle technologie incroyablement puissante conduise, quelle que soit votre définition du « doom », au niveau le plus extrême à la mort de l’humanité, ou à un niveau un peu moins extrême à l’asservissement des humains par nos nouveaux maîtres IA, que nous avons ironiquement créés nous-mêmes en tant qu’espèce. Où situez-vous P(doom) après avoir réfléchi à ces sujets ces dernières années ?
Mallaby : Je vais vous raconter un peu mon parcours. J’ai commencé à faire des recherches pour mon livre sur DeepMind juste au moment où ChatGPT est sorti, fin 2022. Je pensais déjà que les machines allaient manifestement devenir plus intelligentes que les humains, et que, normalement, les êtres ou agents plus intelligents dominent ceux qui le sont moins. Je voyais bien qu’il y avait un risque théorique, mais je me consolais en me disant que même si les machines sont plus intelligentes que nous, ou le seront bientôt, elles n’ont aucune raison de nous dominer. Nous avons évolué au fil des siècles pour vouloir survivre, transmettre notre ADN et nous battre farouchement pour y parvenir. Les machines ne se reproduisent pas de cette manière, elles n’ont pas évolué ainsi, elles n’ont pas d’instinct de survie — par conséquent, même si elles sont plus intelligentes, elles ne nous domineront pas.
J’ai perdu toute confiance en cet argument lorsque je suis allé voir Geoffrey Hinton, qui était invité dans votre podcast, et que je me suis assis dans sa cuisine à Toronto pendant deux heures. Ce qu’il m’a fait remarquer, c’est ceci : à l’avenir, vous disposerez d’une IA puissante, et vous craindrez que votre ennemi ne lance une cyberattaque contre elle. En tant qu’humain, vous êtes bien trop lent pour réagir à une cyberattaque, vous allez donc donner à votre propre IA les moyens de se défendre. Une fois que vous aurez fait cela, vous lui aurez nécessairement donné un instinct de survie, une perception de la douleur, une perception de la peur, une capacité de défense proactive. Vous aurez effacé la distinction sur laquelle je fondais ma confiance. Désormais, elle possède bel et bien un instinct de survie — et elle est plus intelligente que nous.
En fin de compte, la question de P(doom) s’apparente vraiment à un test de Rorschach. Les gens attribuent une valeur P(doom) élevée s’ils ont un tempérament pessimiste face à la vie et au monde. Hinton — m’a raconté l’un de ses anciens doctorants — s’inquiétait toujours que les armes biologiques anéantissent l’humanité avant même de penser que l’IA le ferait. Il avait toujours une vision apocalyptique de quelque chose. Dans mon cas, d’un point de vue analytique, je comprends les raisons d’être très inquiet ; mais d’un point de vue de tempérament et d’émotion, je n’y arrive tout simplement pas.
Cela m’est venu à l’esprit lorsque j’écrivais mon livre. Je voulais explorer ce que l’on ressent lorsqu’on crée une technologie existentielle — quelle sensation cela procure-t-il de penser que l’on pourrait détruire l’humanité par ses propres actes ? Ce qui m’a d’abord semblé fou, mais qui, à bien y réfléchir, n’est pas surprenant, c’est que les gens donnaient des conférences sur la sécurité décrivant la possibilité d’une anéantissement de l’humanité tout en souriant, voire en riant par moments. Envisager l’anéantissement de l’humanité semble absurde, et l’absurde est un proche cousin de l’humour. Il y a une sorte de fascination : les gens sont attirés comme des papillons par la lumière des scénarios catastrophiques. C’est quelque chose de profondément ancré dans la tradition humaine : toutes les prédictions de seconde venue, l’apocalypse, l’iconographie religieuse.
La première révélation de mes recherches pour ce livre a été que non seulement Demis Hassabis et DeepMind, mais tous les autres laboratoires ont commencé — comme nous l’avons dit plus tôt — avec la forte conviction que cela pourrait être désastreux. En même temps, ils géraient ce sentiment de catastrophe parfois par le rire, et à d’autres moments, même lorsqu’ils étaient sérieux et essayaient de réfléchir à la manière d’y remédier, ils enchaînaient les expériences et les hypothèses sur la manière de le sécuriser — et aucune n’a réellement fonctionné.
Quant à Demis, il souhaitait négocier avec Google lorsque Google a racheté DeepMind en 2014. Il voulait les obliger à mettre en place un comité de surveillance de la sécurité indépendant qui aurait le dernier mot sur le déploiement de l’IA, afin que celle-ci ne soit pas entre les mains d’un conseil d’administration motivé par le profit. Au départ, Google a accepté et a organisé une première réunion, mais ce fut un désastre car elle était présidée par Elon Musk, qui avait créé OpenAI pour concurrencer DeepMind. S’ensuivit une négociation secrète — baptisée « Projet Mario » — que j’ai découverte et pour laquelle j’ai reçu des documents divulgués provenant de l’intérieur de l’entreprise. Ce que vous voyez là, ce sont trois années de négociations entre Mountain View et DeepMind à Londres sur la manière de mettre en place une gouvernance de l’IA au sein d’une entreprise à but lucratif. Finalement, cela n’a pas fonctionné, car l’entreprise à but lucratif ne pouvait accepter l’idée de donner du pouvoir à des personnalités indépendantes extérieures qui auraient leur mot à dire sur sa technologie propriétaire. Il y a d’autres itérations de ces expériences tout au long de l’histoire de DeepMind : comment rendre l’IA bonne, comment la rendre bénéfique pour le monde ? C’est extrêmement difficile. C’est pourquoi, au final, nous parlons à juste titre d’une intervention des gouvernements. Il faut une politique, et il faut une politique au niveau international, avec un dialogue entre les États-Unis et la Chine.
Mounk : L’une des choses qui me frappe, c’est que l’humanité a toujours pensé que la fin était proche. De l’histoire du déluge dans la Bible à pratiquement tous les tournants de l’histoire, il y a toujours eu une sorte de secte millénariste affirmant que la destruction de l’humanité était imminente — et souvent, probablement, avec le sourire aux lèvres. Il y a sans doute quelque chose dans la psyché humaine qui rend cette pensée à la fois effrayante et exaltante. Une partie de ce qui est exaltant, bien sûr, c’est que l’on se trouve à un tournant de l’histoire, que c’est notre génération qui va être impliquée dans la bataille finale, et que notre vie a donc de l’importance. Il y a là un ensemble étrange d’hypothèses.
Il serait facile d’utiliser le contexte historique pour ridiculiser ces préoccupations. L’humanité existe depuis des millions d’années – l’histoire humaine remonte à au moins 10 000 ans – pourquoi se trouverait-il que vous et moi soyons en vie précisément au moment où la technologie qui va littéralement provoquer la fin du monde est en train d’être créée ? N’est-ce pas simplement notre besoin ridicule d’importance dans le monde qui nous pousse à faire ces suppositions ?
En même temps, on constate à quelle vitesse cette technologie évolue, à quel point elle est puissante, et le fait que c’est la première fois qu’il existe – ou qu’il va exister, selon votre interprétation exacte – une technologie objectivement plus capable que les humains. L’idée que tout cela pourrait terriblement mal tourner n’est pas vraiment farfelue. Il est difficile de concilier cette peur de la chronocentricité — la tendance à considérer notre époque comme la plus importante au monde — avec la reconnaissance très froide et rational que l’humanité, aujourd’hui, des armes nucléaires aux capacités biotechnologiques en passant par l’IA, a créé des outils et des machines tellement plus puissants que tout ce qui a existé pendant 99,9999 % de l’histoire humaine qu’il y a de réelles raisons de penser que cette fois-ci, cela pourrait effectivement être différent.
Mallaby : Le chronocentrisme — nous exagérons l’importance et le caractère unique de notre époque. C’est une sorte de « cette fois-ci, c’est différent ».
La raison pour laquelle cette fois-ci pourrait être différente est précisément que cette technologie est différente. C’est une nouvelle forme de cognition — nous n’avons jamais connu cela auparavant. Une machine capable d’inventer d’autres machines est quelque chose que nous n’avons jamais eu auparavant. Même si nous revoyons notre estimation à la baisse, je suggère dans mon livre que cela pourrait être l’événement le plus marquant depuis l’apparition de la capacité humaine à la pensée abstraite, qui aurait émergé il y a environ 70 000 ans. Nous disposons désormais d’une deuxième forme de cognition capable de pensée abstraite.
Mais même si vous pensez que c’est exagéré et que vous dites que cela ressemble davantage à la Révolution industrielle — c’est tout de même considérable. La Révolution industrielle a entraîné des bouleversements sociaux et politiques qui ont conduit au marxisme, au Manifeste communiste en 1848, et à une série de révolutions à travers l’Europe. Je suis prêt à être marxiste dans le sens où le changement technologique entraîne des changements sociaux et politiques, et où il peut être assez révolutionnaire et sanglant. Nous ne devrions pas rester ici, au XXIe siècle, en oubliant la leçon du XIXe : que la Révolution industrielle a été extrêmement perturbatrice.
Mounk : En parlant de la Révolution industrielle, je voudrais vous poser une question non pas sur P(doom), mais sur la probabilité que notre société se retrouve dans une situation vraiment catastrophique — ce qui est l’autre analogie évidente avec la Révolution industrielle et les transformations technologiques précédentes.
La première chose à dire au sujet de bon nombre de ces transformations technologiques précédentes, c’est qu’elles ont en fait été terribles pour beaucoup de gens à l’époque. Rétrospectivement, la Révolution industrielle est une chose très positive : l’humanité prospère dans un nombre considérable de domaines, bien plus qu’avant. Mais pendant environ 50 ans, le niveau de vie des gens ordinaires n’a pas augmenté, il y a eu d’énormes bouleversements économiques, et beaucoup de personnes dont les compétences étaient devenues obsolètes ont énormément souffert. Certains types de savoir-faire artisanal ont été automatisés, et les personnes qui avaient consacré beaucoup d’énergie à acquérir ces compétences — souvent à un niveau très impressionnant — n’en avaient plus l’utilité.
Mais il y avait toujours une demande sous-jacente pour les tâches que seuls les humains pouvaient accomplir. Si vous perdiez votre emploi de paysan ou de tisserand artisanal, vous ou vos enfants pouviez accéder à un niveau d’éducation plus élevé et intégrer le nombre croissant d’emplois dans les bureaux ou, plus largement, ceux nécessitant des compétences cognitives. Nous en sommes aujourd’hui à un point où cette voie de sortie n’est peut-être plus disponible. Il y a évidemment un débat énorme — allant de certaines personnes de la Silicon Valley qui pensent que tous les emplois auront disparu d’ici trois ans, ce que je trouve très naïf, à certains économistes qui pensent que cela n’aura absolument aucun impact sur le marché du travail.
Selon vous, quel sera l’impact économique de tout cela, y compris sur le marché du travail ? En quoi vos discussions avec Demis et d’autres acteurs du secteur ont-elles façonné, voire modifié, votre point de vue sur la question ?
Mallaby : Pour commencer, il faut savoir que ce débat fait rage depuis longtemps dans les cercles de l’IA. Lorsque DeepMind a été racheté par Google, une réunion sur la sécurité a bien eu lieu, en 2015. Lors de cette réunion, Mustafa Suleyman, le cofondateur de DeepMind, a fait valoir que la révolte allait éclater — que les gens allaient perdre leur emploi et s’en prendraient aux créateurs de l’IA. Eric Schmidt, qui était alors PDG de Google, a répondu : « Non, vous ne comprenez pas l’histoire économique — quand on supprime certains emplois, de nouveaux sont créés. » Cet argument bien connu. Ce n’est pas un débat nouveau, et cela vaut la peine de le noter, car nous en sommes toujours là et nous devons passer à l’action pour y remédier.
Mon opinion est que les humains peuvent conserver un rôle dans certains domaines de l’économie ainsi que dans certains aspects de la vie. Les interactions entre humains sont probablement un domaine dans lequel nous excellons. L’IA peut jouer le rôle d’acteurs ou de thérapeutes, mais je pense que les humains offrent probablement une compagnie de meilleure qualité. Cela se répercute sur des domaines comme la vente aux entreprises — je soupçonne que les humains conserveront un avantage dans les domaines où l’intelligence émotionnelle et le fait d’être une intelligence biologique capable de s’asseoir à côté de quelqu’un et de le regarder dans les yeux restent puissants. Ensuite, il y a la définition des objectifs : nous ne voulons pas que des machines fixent des objectifs à notre place. Qu’il s’agisse d’un dirigeant politique ou d’un organisateur bénévole au niveau local, la définition des objectifs à tous les niveaux de la société restera une affaire humaine. L’entrepreneuriat est clairement un autre bon exemple.
Il y aura ensuite toute une série de changements dans la façon dont nous passons notre temps, qui s’apparentent au jeu d’échecs. Un ordinateur a battu Garry Kasparov en 1997, nous avons donc mené l’expérience pendant près de trois décennies où les ordinateurs étaient meilleurs que les humains aux échecs. Le nombre de joueurs d’échecs a augmenté. Le nombre de personnes qui regardent des joueurs d’échecs humains a augmenté. Aucun fan humain ne regarde des machines jouer contre des machines. Au contraire, les champions humains s’entraînent avec l’aide de champions informatiques, s’améliorent ainsi et découvrent de nouvelles stratégies grâce à l’IA. La passion des gens pour les échecs et le temps qu’ils y consacrent ont augmenté, et non diminué. Je pense que nous allons devenir très doués pour découvrir de nouveaux passe-temps, de nouvelles activités, de nouvelles façons de rivaliser les uns avec les autres, de nouvelles façons de trouver l’épanouissement et un sens à la vie qui ne relèvent pas de la catégorie traditionnelle des activités rémunérées — pas un travail, mais une passion qui peut nous faire avancer.
Mounk : Nous avons besoin d’emplois, du moins dans notre système économique actuel, pour subvenir à nos besoins. Je ne crois vraiment pas à l’idée que tous les emplois vont disparaître — je pense que c’est terriblement naïf tant sur ce en quoi consistent réellement les emplois que sur tous les obstacles réglementaires et autres qui s’opposent à bon nombre de ces remplacements. Mais il suffirait que deux choses se produisent : A) que beaucoup de personnes qui occupent aujourd’hui des emplois très bien rémunérés perdent leur travail et s’en trouvent bouleversées ; et B) qu’en conséquence, il y ait désormais une offre excédentaire de main-d’œuvre cognitive hautement qualifiée, ce qui ferait baisser les salaires même de ceux qui conservent leur emploi, car le nombre de personnes susceptibles de les remplacer a considérablement augmenté.
Si l’on imagine que cette situation perdure ne serait-ce que 50 ans — ce qui correspondrait à peu près à la durée de la phase de bouleversement de la révolution industrielle, sans parler d’une durée indéfinie — cela aurait des conséquences profondément troublantes pour notre système politique, pour notre capacité à maintenir la paix sociale et pour le sentiment des gens que les institutions fonctionnent. Comment devrions-nous envisager cela ?
Mallaby : Un point essentiel que davantage de personnes doivent comprendre est qu’il n’est pas nécessaire de postuler que toutes les personnes d’une certaine catégorie perdent leur emploi. Si seulement 20 % perdent leur emploi, ils feront baisser les salaires des autres, ce qui créera un mécontentement massif. Prenons l’exemple de la COVID : le chômage a grimpé à environ 10 ou 12 % à un moment donné, ce qui a déclenché une réponse budgétaire massive de la part du gouvernement. Des chèques de relance ont été envoyés à chaque Américain. Nous affirmons que même si seulement 12 % de la population active perdait son emploi, cela serait politiquement et socialement inacceptable, à en juger par la réponse du gouvernement pendant la pandémie de COVID. Donc oui, je pense que c’est très inquiétant.
D’une manière assez drôle, c’est en fait la raison pour laquelle j’ai écrit mon livre. Je suis allé voir Demis Hassabis au début de mon projet et je lui ai dit : vous n’avez peut-être pas particulièrement envie de passer 30 heures à parler à un auteur pour qu’il puisse avoir un accès approfondi et écrire un livre sur vous, mais vous n’avez pas le choix. Premièrement, si vous avez raison — comme vous le dites dans tous vos discours — que l’IA va être l’invention technologique la plus importante de l’histoire de l’humanité, il s’ensuit que vous, en tant que créateur, êtes l’une des personnes les plus importantes de l’histoire de l’humanité. Si tel est le cas, un livre sera écrit sur vous. De plus, vous devriez vous réjouir de ce livre, car si vous comptez bouleverser la vie des gens avec votre technologie — changer la façon dont ils élèvent leurs enfants, changer la façon dont ils se perçoivent en tant qu’êtres humains, puisqu’il existe désormais des machines capables de penser —, vous feriez mieux d’expliquer au monde vos motivations, car sinon, cela ne sera pas accepté.
Si je passe en revue la liste des principaux dirigeants de laboratoires d’IA : Sam Altman, chez OpenAI, surtout après la débâcle avec le Pentagone, est considéré par beaucoup comme un opportuniste sournois — parfaitement disposé à passer outre les principes de sécurité pour décrocher un autre contrat gouvernemental. Elon Musk a sa propre vanité, et je ne pense pas que la plupart des gens lui feraient confiance. Dario Amodei se distingue par ses principes, mais il est très concentré sur une perspective scientifique. C’est un scientifique très pointu, très intelligent — mais je pense qu’il sous-estime parfois la difficulté de transformer ce qu’il appelle « une base de données pleine de génies » (son expression pour l’IA) en une utilisation concrète de cette intelligence pour des effets positifs sur la productivité économique ou tout autre objectif que l’on souhaite lui donner. Il y a tellement de frictions sociales et institutionnelles, et peut-être qu’il n’y pense pas parce qu’il est un scientifique pur et dur.
Demis Hassabis, dont j’ai parlé, est de loin la figure la plus accessible, la plus normale et la plus rassurante dans ce domaine. C’est une bonne chose que les gens aient l’occasion de comprendre ce que c’est — cela rend peut-être plus facile d’accepter ce qui va se passer.
Mounk : Aidez-nous à réfléchir à la manière dont l’IA s’inscrit dans certains des changements économiques plus larges que nous avons observés ces dernières années et décennies. Vous avez beaucoup travaillé dans le monde du capital-risque et de la finance en général, et vous avez également beaucoup écrit sur les banques centrales. Comment devons-nous envisager la puissance financière et l’influence politique en forte croissance des entreprises d’IA ? En quoi cela recoupe-t-il la montée en puissance et l’influence du capital-risque en tant que moyen de financer de nouvelles entreprises ? Devrions-nous craindre que cela ne fasse qu’aggraver une situation où une poignée de personnes de la Silicon Valley exercent une emprise démesurée sur l’économie américaine et le monde en général ? En quoi le fait qu’il existe en Chine des concurrents réels confrontés à des incitations très différentes permet-il de relativiser cela ? Comment devons-nous envisager le système économique global qui émerge grâce à l’IA — le monde du capital-risque, la domination des entreprises de la Silicon Valley aux États-Unis et dans les indices boursiers mondiaux, etc. ?
Mallaby : La première chose à dire est que la crise financière de 2008 et l’énorme réponse réglementaire qu’elle a déclenchée ont entraîné un renversement de situation quant à l’identité du « maître de l’univers ». Avant 2008, les hedge funds, les banques d’investissement et Wall Street en général incarnaient ce que vous entendiez par cette expression. Après 2008, toutes ces institutions ont été réglementées et on leur a retiré leur pouvoir. L’assouplissement quantitatif mis en œuvre par les banques centrales a réduit l’écart entre les obligations risquées et non risquées — et si vous êtes payé pour évaluer le risque et qu’il n’y a pas beaucoup de différence entre le prix d’un actif risqué et celui d’un actif non risqué, vous êtes tout simplement beaucoup moins bien rémunéré. Ce n’est plus un métier lucratif. Pour toutes ces raisons, une grande partie de l’énergie et de l’enthousiasme s’est évaporée du secteur financier après 2010.
Au contraire, d’énormes richesses ont été créées par les leaders technologiques de la Silicon Valley et aussi en Chine — la période allant de 2005 à 2020 a été l’âge d’or de la création de licornes en Chine, avant que la répression politique ne s’abatte. Le centre de la création de richesse, de la disruption capitaliste, et donc de l’influence politique s’est déplacé. On voit cela se concrétiser à la fin de la COVID, où il y a eu une énorme bulle sur les actifs financiers en 2022 qui a ensuite éclaté — et une partie de ce qui s’est effondré concernait les cryptomonnaies. Les barons de la crypto ont lancé une campagne politique pour récupérer la valeur de leurs actifs en soutenant Donald Trump, qui allait se montrer favorable aux cryptomonnaies, contrairement à Biden, qui était très opposé à celles-ci. Ce n’est là qu’un aspect de l’affirmation du pouvoir politique par le groupe qui avait amassé toute la fortune de l’après-2008.
L’IA est un cas particulier, car il s’avère qu’elle n’est pas vraiment financée par du capital-risque. Au tout début de l’histoire que je raconte, DeepMind était financé par du capital-risque — Peter Thiel, du Founders Fund, a signé le premier chèque, d’un montant ridiculement modeste de 2 millions de dollars, car en 2010, il n’existait pas encore de grands clusters de GPU et tous les éléments qui rendent la recherche en IA coûteuse n’étaient pas encore en place. Aujourd’hui, les sommes nécessaires pour construire des laboratoires d’IA sont si colossales qu’une grande partie des capitaux provient soit de fonds souverains, soit d’autres géants de la technologie. Amazon investit dans OpenAI, Microsoft investit dans OpenAI, et Nvidia investit constamment dans des entreprises liées à l’IA. Il faut tellement de capitaux qu’un fonds de capital-risque traditionnel n’en a pas assez. Plus généralement, vous avez toutefois raison de dire qu’il y a une augmentation générale de la création de richesse et donc du pouvoir, et l’IA en est en quelque sorte l’aboutissement.
Mounk : Il y a un point intéressant qui, je pense, n’est pas largement pris en compte : en raison de l’ampleur des investissements nécessaires à l’IA, celle-ci a, dans une certaine mesure, supplanté le rôle central du capital-risque. Il y a eu une période d’environ 15 ans, après la crise financière et avant l’essor de l’IA, durant laquelle le capital-risque régnait en maître. Aujourd’hui, le rôle du capital-risque est peut-être en train de s’amenuiser, car même les plus grands fonds de capital-risque ne peuvent pas soutenir le niveau d’investissement nécessaire pour faire progresser les modèles de pointe.
Une partie de la question devient alors : qui va réellement tirer profit des retombées financières de l’IA ? Sera-ce les grands laboratoires de pointe — DeepMind et donc Google, OpenAI, Anthropic ? Ou bien sera-ce l’ensemble des nouvelles entreprises et des nouveaux services qui utiliseront n’importe quel modèle d’IA en arrière-plan pour transformer notre économie ? Si c’est le cas, cela pourrait signifier que les fonds de capital-risque vont jouer un rôle plus important, car ce type d’entreprises sera beaucoup moins gourmand en capitaux. Il y aura une vague d’innovation, avec de nombreuses petites start-ups affirmant qu’elles vont utiliser l’IA pour l’appliquer à tel ou tel domaine de l’économie — et un chèque de peut-être 20 millions de dollars suffira pour se lancer, ce qui est loin d’être suffisant pour rivaliser avec OpenAI dans la production de modèles de pointe.
Aux débuts d’Internet, nous pensions qu’AOL allait s’accaparer la majeure partie des bénéfices. À l’époque, il n’était pas évident que ce serait une entreprise de moteurs de recherche — Google — qui parviendrait à capter une grande partie des retombées financières, en se diversifiant dans toutes sortes d’autres activités tout en conservant la recherche au centre de ses activités. Il y aura peut-être un changement similaire dans le domaine de l’IA, où ce ne sont pas vraiment les modèles de pointe eux-mêmes qui permettent de générer des revenus, mais un autre aspect de l’IA auquel nous n’avons pas encore pleinement réfléchi.
Mallaby : Comme diraient les techniciens, il faut penser à la pile — les différentes technologies que l’on empile les unes sur les autres pour produire de l’IA.
On commence par la conception des puces. Ici, il y a un leader incontestable, Nvidia, mais aussi toute une série d’autres fabricants de puces qui jouent un rôle important. Il est assez difficile de percer dans la conception de puces – c’est très technique – et on a donc l’impression qu’il y aura un géant et cinq ou six autres entreprises existantes qui en récolteront les bénéfices. Ensuite, il y a la fabrication de ces puces, où l’on trouve TSMC, l’entreprise taïwanaise, qui est de loin l’acteur dominant avec plus de 90 % du marché des puces les plus avancées. Elle présente une énorme vulnérabilité géopolitique car elle est basée à Taïwan : si la Chine décidait d’imposer un blocus, Dieu seul sait ce qu’il adviendrait de l’économie mondiale ainsi que de TSMC. Pour fabriquer ces puces, il faut des machines de lithographie, fournies principalement par une entreprise européenne, ASML, basée aux Pays-Bas, avec le soutien de la société technologique allemande Zeiss pour les lentilles. On a parfois tendance à sous-estimer la technologie européenne, mais l’Europe occupe en réalité une position très forte dans cette partie de la chaîne.
Une fois que vous avez les puces, on construit les algorithmes qui vont les transformer en IA. On trouve ici toute une série de développeurs de modèles dont les noms sont connus de tous : Google avec Gemini, OpenAI, Anthropic, les initiatives d’Elon Musk, Meta, Mistral en France, et les acteurs chinois. Je pense qu’il est en réalité assez difficile de gagner de l’argent dans ce domaine pour le moment. C’est une technologie de premier ordre avec un modèle économique médiocre. C’est un mauvais modèle économique car il manque de fidélisation : un utilisateur peut passer d’un modèle à un autre très facilement, donc on ne peut pas vraiment augmenter les prix. OpenAI compte 920 millions d’utilisateurs réguliers et seuls 5 % d’entre eux paient quoi que ce soit, car si l’on essaie de faire payer les autres, ils partent tout simplement. J’ai déclaré publiquement que je pense qu’il y a au moins 50 % de chances qu’OpenAI fasse faillite dans les 18 prochains mois. Ils doivent lever tellement d’argent pour continuer à construire des modèles plus grands et rester dans la course, et ils devraient battre leurs propres records de levée de fonds à plusieurs reprises pour rester à flot.
Ensuite, il pourrait y avoir, en plus de ces modèles de base, toute une autre couche dans la pile : des développeurs d’applications qui produisent quelque chose que les gens adorent, qui devient addictif, et qui rapporte peut-être de l’argent. Ces entreprises pourraient facilement être soutenues par des investisseurs en capital-risque. Il existe trois types d’acteurs dans le domaine des applications : les applications IA natives, telles que Harvey AI, qui a spécialement adapté l’IA pour les cabinets d’avocats ; les logiciels-en-service traditionnels, c’est-à-dire les grandes entreprises qui tentent d’intégrer l’IA dans leurs produits, qu’il s’agisse d’Adobe, de Salesforce ou d’autres ; et enfin Google DeepMind, qui produit sa propre IA sur Google Cloud et la vend à des entreprises disposant d’applications intégrées au cloud. Nous ne savons pas qui va l’emporter. Il est clair que quelqu’un va gagner de l’argent ici, mais il y aura aussi beaucoup de perdants.
Mounk : Si vous avez raison et qu’OpenAI fait faillite dans les 18 prochains mois, qu’est-ce que cela signifierait pour l’économie mondiale ? On invoque un peu trop facilement une bulle de l’IA, ce qui ne nous apprend pas grand-chose. Il y a eu une bulle Internet en 2001, et pourtant, Internet a continué à transformer complètement tous les aspects de notre société au cours des 25 années suivantes. Il y a eu des bulles ferroviaires tout au long du XIXe siècle, et pourtant, le chemin de fer est devenu une technologie clé de la fin du XIXe et du début du XXe siècle qui reste influente aujourd’hui.
Je ne serais pas du tout surpris si OpenAI faisait faillite. Je suppose que cela ferait partie d’une sorte de bulle de l’IA, mais je ne pense pas que cela signifie que l’IA n’aura pas toutes les implications transformatrices dont nous avons parlé. La grande question est la suivante : si OpenAI fait faillite, est-ce un problème qui concerne uniquement OpenAI et ses investisseurs — une punition pour ceux qui ne sont pas bien disposés envers Sam Altman, avec peut-être un peu de schadenfreude, et puis on passe à autre chose ? Ou bien, à ce stade, certaines de ces entreprises d’IA sont-elles tellement imbriquées avec d’autres grandes sociétés, et leur dette est-elle si importante, que cela constituerait un événement très significatif pour l’économie mondiale — un événement qui pourrait ralentir considérablement le développement de l’IA et entraîner une récession majeure pendant une période significative ?
Mallaby : Il y a une bulle OpenAI, mais pas une bulle IA. Si OpenAI vient à manquer d’argent, quelqu’un l’achètera — Microsoft pourrait l’acheter, ou Amazon pourrait l’acheter. Ils continueraient à diriger la même équipe de scientifiques, qui sont d’excellents scientifiques, et à produire les mêmes modèles, qui sont d’excellents modèles — ils rattacheraient simplement cette entreprise de création de modèles scientifiques à des moyens financiers considérables, tels que ceux dont disposent Amazon et Microsoft. Ce ne serait pas un cataclysme pour l’économie, car la demande pour davantage d’IA et de puces IA ne disparaîtra pas. Cela inquiéterait sans doute les investisseurs pendant un mois ou deux, mais je ne pense pas que ce serait pire que cela.
Mounk : Il faut distinguer s’il est ou non rentable d’exploiter des modèles d’IA et de continuer à développer de nouveaux modèles de pointe au même rythme. D’après ce que je comprends, ce qui est prohibitivement coûteux, c’est en partie l’entraînement de ces modèles de pointe. La raison pour laquelle OpenAI risque de se retrouver à court d’argent est qu’ils estiment que pour conserver la part relativement faible de leurs utilisateurs qui paient réellement, ils doivent être à la pointe absolue. Comme tout le monde investit actuellement des sommes colossales pour développer des modèles toujours plus performants à une vitesse incroyable, ils ont besoin de sommes énormes pour rester constamment à la pointe de la technologie.
On pourrait imaginer un monde où les progrès ralentiraient quelque peu, simplement parce qu’il deviendrait insoutenable de continuer à investir autant d’argent dans de nouveaux modèles de pointe — et certaines de ces entreprises seraient alors rentables en offrant l’accès à ce qui serait, à ce moment-là, les modèles les plus avancés. Nous ralentirions simplement le rythme des progrès dans cette dimension.
Il pourrait y avoir d’autres voies permettant de continuer à progresser. Un résultat intéressant a été annoncé, je crois hier au moment où nous enregistrons cette émission, selon lequel Google a réussi à compresser l’information d’une nouvelle manière qui va rendre l’exploitation de bon nombre de ces modèles beaucoup moins coûteuse. Cela peut soit servir à réduire leurs coûts de fonctionnement, soit à dégager différents types de gains à grande échelle. Les progrès en matière de puces et de méthodes d’entraînement pourraient également se poursuivre. Mais il se peut simplement que les sommes colossales actuellement investies pour des progrès toujours plus rapides et toujours plus poussés dans les modèles de pointe deviennent insoutenables, entraînant un ralentissement, au moins dans ce domaine.
Mallaby : Une autre façon d’exprimer la même idée est que les laboratoires ne cesseront peut-être pas de faire de la recherche ou de repousser les limites, mais qu’ils restreindront leur définition de ces limites. OpenAI vient d’annoncer la fermeture de son modèle de génération vidéo appelé Sora. L’entreprise a pris cette décision malgré le fait qu’elle ait rompu un accord conclu avec Disney, dans le cadre duquel Disney investissait un milliard de dollars dans OpenAI. OpenAI a donc vraisemblablement renoncé à un milliard de dollars en fermant Sora — ce qui signifie qu’il devait avoir une très forte motivation financière pour le faire. Cette motivation tient sans doute au fait que l’exploitation de Sora coûtait très cher : la vidéo est gourmande en données, les gens l’utilisaient pour s’amuser et la publiaient sur les réseaux sociaux, mais ne payaient pas pour cela. OpenAI a rationnellement déclaré qu’elle ne pouvait pas se permettre de subventionner des gens qui s’amusaient avec des vidéos sur les réseaux sociaux — elle devait créer un produit pour lequel elle pourrait réellement faire payer.
L’argument en faveur d’OpenAI à l’heure actuelle est qu’elle a enfin compris le message, qu’elle réduit la portée de ses ambitions, qu’elle réduit ses coûts et qu’elle améliore sa capacité à survivre. D’ailleurs, c’est ce qu’Anthropic a fait dès le début. À la pointe de la technologie, on trouve DeepMind, soutenu par Google — qui dispose de moyens financiers colossaux —, puis Anthropic et OpenAI, qui ne bénéficient pas du même avantage. Anthropic a joué ce jeu plus intelligemment qu’OpenAI, car elle a misé davantage sur les capacités de codage de son IA, pour lesquelles elle peut faire payer les entreprises, et elle ne s’est jamais lancée dans la génération d’images et de vidéos. C’était un choix très judicieux : on évite le secteur coûteux et déficitaire de la génération d’images et on se concentre sur le codage, qui est extrêmement lucratif.
Il pourrait y avoir une adaptation dans le secteur, et cela rejoint votre question précédente sur qui développe des applications qui rapportent de l’argent. Une réponse est qu’Anthropic dispose d’un excellent modèle de codage. Peut-être qu’OpenAI finira par devenir une entreprise davantage axée sur les applications — pendant la majeure partie de son histoire, elle a déclaré qu’elle ferait toutes sortes d’IA, quelle que soit sa définition de l’IA, mais aujourd’hui, elle devra peut-être faire des choix.
« P(doom) » est un terme courant dans les débats sur l’IA. Il désigne la probabilité subjective qu’une IA avancée mène à la disparition de l’humanité (« doom »). Cette valeur, souvent exprimée en pourcentage, correspond à l’estimation personnelle faite par un individu du risque que représente le développement de l’IA pour l’humanité.