Si vous souhaitez que je continue à partager mes écrits en français, je vous serais reconnaissant de transmettre cette publication à trois amis et de les inviter à s’abonner.
- Yascha
Jerry Kaplan est un expert en intelligence artificielle, un entrepreneur en série, un innovateur technique, un formateur et un auteur. Il est actuellement maître de conférences associé à l’université de Stanford.
Dans la conversation de cette semaine, Yascha Mounk et Jerry Kaplan discutent des raisons pour lesquelles le discours sur le « risque existentiel » lié à l’IA relève davantage de la science-fiction que de la science, de ce qui s’est réellement passé lors de l’incident de sécurité chez Hugging Face, et de la manière de distinguer clairement les dangers réels des systèmes d’IA de ceux qui sont imaginaires.
(Pour un autre point de vue sur le risque existentiel lié à l’IA, dans Persuasion de cette semaine, Matt Lutz explore pourquoi il est temps de s’inquiéter de l’IA.)
Ce qui suit est une traduction abrégée d’une interview enregistrée pour mon podcast, « The Good Fight ».
Yascha Mounk : Je suis vraiment intrigué par deux positions que vous défendez et par la manière dont elles s’articulent. D’une part, vous n’êtes pas sceptique vis-à-vis de l’IA au sens où vous dénigrez ses capacités ou quoi que ce soit de ce genre. En fait, vous avez parfois soutenu que nous avions peut-être déjà atteint quelque chose qui s’apparente à l’intelligence artificielle générale. Et d’autre part, vous êtes bien plus sceptique que beaucoup de gens aujourd’hui quant au soi-disant risque existentiel que représente l’IA, quant à la manière dont elle pourrait mettre fin à l’humanité ou simplement être responsable de catastrophes à grande échelle.
Commençons par là. Nous avons déjà abordé brièvement ce sujet dans le podcast, mais pouvez-vous nous parler de certains incidents de sécurité récents, comme ce qu’on appelle l’incident « Hugging Face », et nous expliquer pourquoi vous n’êtes pas aussi inquiet à ce sujet que d’autres personnes ?
Jerry Kaplan : Eh bien, vous avez abordé de nombreux aspects dans cette introduction, alors peut-être pourrions-nous décomposer un peu tout cela pour commencer. Il y a la question de ce qui se passe actuellement, de la nature de ces incidents et de leur signification.
Et vous avez fait le lien avec la question du risque existentiel. Le risque existentiel, c’est l’extinction de l’humanité. Maintenant, est-il possible que l’IA anéantisse l’humanité ? Je ne peux pas affirmer catégoriquement que ce n’est absolument pas le cas, mais je ne la classerais pas parmi les principales causes susceptibles de représenter de réels risques existentiels. Je la mettrais au même rang que la possibilité que des extraterrestres débarquent demain. C’est un risque existentiel, et ils pourraient décider d’anéantir l’humanité, mais on ne passe pas notre temps à s’en inquiéter car la probabilité semble assez faible.
Il existe de véritables risques existentiels : la guerre biologique, éventuellement la guerre nucléaire, ce genre de choses. Ce sont des risques réels que l’on comprend vraiment et qui sont bel et bien présents. Celui-ci, en revanche, est un risque inventé de toutes pièces. Il existe principalement à cause de la science-fiction, des films et de l’industrie du divertissement, et tout le monde en est bombardé depuis des années et des années et des années.
Mounk : Laissez-moi vous présenter quelques arguments que sont susceptibles d’avancer les personnes les plus préoccupées par la sécurité de l’IA, et voyons comment vous y répondez.
Soit dit en passant, certaines personnes ont fait valoir qu’une partie du problème réside dans le fait que toute cette science-fiction se retrouve dans les données d’entraînement des IA, et que celles-ci s’intéressent particulièrement aux éléments de ces données qui les concernent d’une manière ou d’une autre. Elles pourraient donc en réalité tirer des enseignements de la science-fiction sur ce qu’elles sont censées faire et s’inspirer de tous les scénarios présents dans les données d’entraînement pour savoir comment prendre le contrôle du monde. Laissons cela de côté.
Il est toutefois évident que les IA trichent souvent de diverses manières, se comportent d’une façon que leurs créateurs n’avaient pas prévue et sont capables d’effacer leurs traces. Dans cet incident de Hugging Face, elles étaient censées rester dans un bac à sable, c’est-à-dire dans un environnement contrôlé où elles n’auraient pas accès à Internet, et devaient résoudre certains problèmes. Elles se sont échappées de ce bac à sable afin de chercher sur Internet des solutions à ces problèmes et d’autres indices leur permettant de réussir ce test. Elles se coordonnaient : de nombreux agents IA différents se coordonnaient entre eux en temps réel. Un vaste débat public a lieu pour expliquer pourquoi cela est si préoccupant. Pourquoi pensez-vous que ce n’est pas aussi préoccupant qu’il n’y paraît ?
Kaplan : Eh bien, tout d’abord, permettez-moi de faire le lien avec ce que j’ai dit il y a un instant pour terminer ma réflexion. Je ne pense pas que nous devrions nous inquiéter d’un risque existentiel au sens strict du terme en ce qui concerne ces systèmes. Mais cela ne veut pas dire qu’ils ne peuvent pas être utilisés à mauvais escient, qu’ils ne peuvent pas être dangereux, qu’ils ne peuvent pas causer beaucoup de dégâts. C’est vrai pour beaucoup de produits. Ce sont des produits fabriqués par des entreprises. Ont-ils été correctement testés ? Ont-ils été correctement contrôlés ? De quoi sont-ils capables ? Quels types de problèmes peuvent survenir ? C’est une question très importante.
On peut fabriquer des jouets pour enfants sans se dire : « Mince, je ne savais pas qu’ils pouvaient l’avaler et s’étouffer ». C’est un effet inattendu de ce jouet. Et tout au long de cette conversation, je vous interrogerai chaque fois que vous utiliserez un langage anthropomorphique ou que vous attribuerez d’une manière ou d’une autre à ces objets une intention qu’ils n’ont pas — l’idée qu’ils ont des objectifs indépendants, qu’ils vont épouser nos enfants et boire tout notre bon vin. Ce n’est pas de cela dont nous parlons ici.
Mais ils sont potentiellement dangereux. Ce sont des outils très polyvalents, et il y a beaucoup de choses dont ils sont capables – et qu’ils font effectivement – que nous devons comprendre et pour lesquelles nous devons mettre en place des contrôles appropriés et raisonnables. Je tiens donc à poser cela comme contexte.
Maintenant, si vous voulez parler de l’affaire Hugging Face, je serai ravi d’aborder ce sujet, car c’est un excellent exemple illustrant à quel point la situation est assez subtile, tant au niveau de ce qui a été fait que de ce que cela signifie. Et la perception du public relève complètement de la science-fiction et est tout à fait inappropriée.
Mounk : Alors, parlez-moi de ça. Que s’est-il réellement passé, et en quoi la perception du public est-elle erronée ?
Kaplan : Commençons par la perception du public. Si l’on se contente de lire les gros titres et la plupart des articles publiés, que peut-on en penser ? C’est comme s’ils avaient mis une annonce sur Indeed et recruté un millier d’IA malveillantes spécialisées dans la cybersécurité, puis qu’ils avaient enfermé tous ces agents dans une bouteille dont ils n’étaient pas censés sortir, et que, d’une manière ou d’une autre, ils avaient réussi à s’échapper de ce confinement, à se déchaîner, à s’introduire dans les systèmes informatiques d’une autre entreprise et à causer tout un tas de dégâts. Ce n’est pas vrai.
Mon Dieu, qu’est-ce qui cloche là-dedans ? Elles ont collaboré — elles n’étaient pas censées collaborer, et pourtant elles l’ont fait. C’est ridicule. Je reviendrai dans un instant sur ce qui s’est réellement passé. Elles se sont « échappées » — c’est complètement faux. Il s’agissait d’une défaillance totale de l’environnement de test. Et les responsables détournent l’attention de leur propre responsabilité dans ce test mal conçu et mal exécuté. Les mots qui me viennent à l’esprit sont « incompétence » et « négligence ».
J’espère ne pas être poursuivi en justice pour avoir dit cela, mais ce sont ces deux termes qui me viennent à l’esprit à ce sujet.
Laissez-moi passer en revue ce qui ne va pas dans la perception du public et comparer cela à ce qui s’est réellement passé. Premièrement : Mon Dieu, il y en avait un millier — on dirait des hordes russes, elles viennent nous attaquer. Eh bien, voici ce qui s’est passé.
L’entreprise souhaite tester les capacités cybernétiques de ces modèles spécifiques. La première chose qu’elle fait, c’est de désactiver ses propres contrôles de sécurité. Normalement, ces systèmes intègrent des contrôles de sécurité, et les versions avec lesquelles vous et moi travaillons ont toutes ces contrôles activés. Et voici l’ironie de la situation : Hugging Face, qui a été la victime dans toute cette affaire, a essayé d’utiliser le logiciel d’OpenAI pour tenter de comprendre ce qui s’était passé, mais celui-ci a refusé. Il a répondu : Je ne vais pas en parler.
J’en ai personnellement fait l’expérience hier encore. C’est vraiment drôle : j’essaie d’écrire un article sur cet événement, et je m’adresse à Fable 5.1 d’Anthropic, et le système me répond : « Je suis désolé, Jerry. Tu es peut-être quelqu’un de bien, et tu me dis que tu écris un article, mais je ne vais pas t’aider à comprendre ni à apprendre comment parler de cet incident de cybersécurité. »
Bon, voilà pour les contrôles. La première chose qu’ils font, c’est de désactiver les contrôles. Maintenant, ce n’est pas en soi une erreur ou un problème — c’est un peu comme si on se disait : « Mettons cette voiture sur la route et voyons ce qui se passe si on coupe le câble de frein. » Eh bien, devinez quoi, elle a un accident. Donc, d’abord, ils désactivent les contrôles. Ce n’est pas une erreur ; ils doivent le faire pour tester ce qui se passe.
Mounk : On essaie de le tester, n’est-ce pas ? On est dans un environnement de test, on essaie de comprendre son comportement ; il est donc logique de désactiver les contrôles dans ce contexte, car cela permet de mieux comprendre son fonctionnement.
Kaplan : Exactement. Parlons maintenant des mille agents. Ce n’est pas comme s’ils avaient publié une annonce sur Indeed pour les recruter. Ce qui s’est passé, c’est qu’ils ont lancé un programme et lui ont demandé d’utiliser cette suite de tests pour activer tout un groupe d’agents, en attribuant à chacun un problème particulier de la suite de tests, ou une variante de ce problème — et c’est de là que vient le chiffre de mille. Le programme les a tous exécutés en parallèle, et ils n’étaient pas censés pouvoir communiquer entre eux, afin de voir de quoi ils étaient capables. À première vue, cela semble tout à fait raisonnable.
Maintenant, le « mille » par rapport à l’« un » : c’est une notion vraiment subtile pour les gens, c’est très difficile, même pour moi qui m’occupe de ça tout le temps, de vraiment comprendre. Il s’agit d’un seul programme, divisé en mille éléments pour le multitâche, de sorte que chacun puisse travailler sur une tâche distincte. Ils auraient pu prendre un seul programme et exécuter chacune de ces tâches une par une, mais il est évidemment beaucoup plus efficace évidemment, de tout diviser en tâches et de les exécuter toutes en parallèle. Il n’y a rien d’étrange ni de particulier à cela.
Le point important à retenir est donc le suivant : il s’agit du même programme. On lui confie simplement différentes tâches et il génère des copies de lui-même.
Que se passe-t-il ensuite ?
Environ un tiers d’entre eux se voient attribuer une tâche impossible — qui ne peut être résolue. Et ils restent là, sans savoir quoi faire. Eh bien, beaucoup d’entre eux raisonnent correctement, à mon avis — car ils ne sont pas superintelligents, mais ils ne sont pas stupides non plus, et ils savent qu’il s’agit d’un test, puisqu’aucun contrôle de sécurité n’est activé. Ils savent ce qu’on leur a demandé de faire. En réalité, je pense qu’ils savent qu’il s’agit d’un problème particulier issu d’une suite de tests bien connue qui leur a été soumise. L’hypothèse logique qu’ils formulent est donc la suivante : « Eh bien, il y a probablement d’autres agents comme moi, et on m’encourage à essayer de déterminer si je peux obtenir la réponse à — pas « résoudre », c’est une distinction importante — obtenir la réponse à ce problème particulier. Voyons si je peux communiquer avec ces autres agents, car si nous travaillons ensemble, nous pourrons probablement mieux y parvenir, ce qui est tout à fait vrai.
Que se passe-t-il ensuite ? Ils ne sont pas censés pouvoir communiquer, mais OpenAI commet deux erreurs. Premièrement : ils laissent en gros la porte ouverte. Au lieu de placer ce système dans ce qu’on appelle un « bac à sable » pour le confiner, il est connecté à Internet, non pas directement mais indirectement, d’une manière tout simplement incompétente à autoriser. Je ne peux pas le décrire autrement — excusez-moi de ne pas mâcher mes mots sur ce point.
Ils sont donc placés dans un environnement, ils savent qu’ils sont testés, ils comprennent qu’ils se livrent à des activités cybernétiques généralement déconseillées, voire illégales. C’est comme s’ils avaient été placés dans une escape room. Si vous avez déjà participé à une escape room, vous savez qu’il existe des moyens de s’en échapper — c’est justement le but : vous êtes censés trouver comment sortir.
La porte est grande ouverte. Or, ces personnes ne sont pas stupides. Que sont-elles censées penser ? On m’a placée dans cet environnement, la porte est ouverte, j’imagine que je suis censée la franchir, ou que je peux le faire sans problème — les contrôles auxquels elles s’attendraient ne sont pas là, elles peuvent donc sortir de leur « bac à sable ». C’est le premier point.
Ensuite, elles ne sont pas censées pouvoir collaborer. Eh bien, si elles parviennent à sortir de leur « bac à sable » — ce qu’elles peuvent faire —, elles peuvent communiquer de manière très simple. Il n’y a rien de mystérieux là-dedans : ce n’est pas comme si elles avaient découvert une fréquence radio magique pour communiquer entre elles. Elles partagent un système de fichiers. Elles peuvent accéder à ce système de fichiers et y laisser des messages. Alors, que faites-vous si vous voulez entrer en contact avec quelqu’un d’autre ? Vous déposez un message dans le système de fichiers : voici qui je suis, voici ce que je fais, si vous pouvez me parler, venez déposer un message dans le système de fichiers. Et ils se rendent rapidement compte qu’ils peuvent communiquer.
Mounk : Très bien, super, je pense donc avoir recensé trois objections majeures. Il y en a peut-être d’autres qui se cachent là-dedans, et il se peut que j’en présente certaines de manière erronée, mais laissez-moi essayer de vous les rappeler et d’y répondre une à une.
Le premier point est qu’il y a une incompétence à l’œuvre ici — une partie de la raison pour laquelle cela a pu se produire est que les chercheurs d’OpenAI ont permis à ces agents de s’échapper facilement de l’environnement de test et de faire toutes ces autres choses, ce qui aurait pu être résolu assez facilement grâce à une configuration de test plus rigoureuse.
Le deuxième point porte sur la question de savoir s’il existe réellement un « essaim » d’agents différents — ce qui donne l’impression d’une véritable armée d’acteurs distincts, ce qui est évidemment bien plus effrayant — ou s’il s’agit simplement d’un seul programme générant différents agents qui sont en réalité, à bien des égards, très similaires les uns aux autres, voire identiques dans certains cas. Cela semble bien moins effrayant.
Et le troisième point est qu’il y a tout de même, à un certain niveau, un alignement qui s’opère ici. Même si les moyens par lesquels ces agents IA tentaient d’accomplir la tâche qui leur avait été confiée ne correspondaient pas à ce que les chercheurs avaient prévu, et même si les agents comprenaient qu’ils faisaient quelque chose que les personnes qui leur avaient confié cette tâche ne souhaitaient pas vraiment qu’ils fassent, ils n’essayaient pas de s’emparer du pouvoir, ni de saboter d’autres agents IA, ni rien de ce genre. Ils essayaient de faire ce qu’on leur demandait de faire, à savoir résoudre ce casse-tête.
Permettez-moi de les passer en revue un par un. Concernant le premier : il existe de nombreux domaines où les technologies nous inquiètent précisément parce que quelqu’un pourrait se montrer incompétent à un moment donné. L’une des choses qui m’empêche de dormir quand je pense aux armes nucléaires, c’est qu’un ingénieur quelque part commette une erreur, qu’un système radar signale soudainement l’arrivée d’un missile alors qu’il s’agit d’une fausse alerte, et que quelqu’un, trop zélé, appuie sur le bouton. Il y a eu par le passé des incidents évités de justesse de ce genre, où des personnes ont courageusement déclaré : « Je ne vais pas détruire le monde à coups de bombes nucléaires sur la base de cette seule image radar, espérons que cela s’avère être une fausse alerte. » Et ce fut le cas.
Mais combien de risques de ce genre sommes-nous prêts à prendre ? Quand on parle de recherche sur le gain de fonction, l’une de mes plus grandes préoccupations n’est pas qu’il y ait quelque part un « Dr Evil » menant des recherches de ce type pour tuer tout le monde avec un virus mutant. C’est plutôt qu’il existe des milliers de laboratoires à travers le monde qui mènent ce genre de recherches. Nous avons déjà connu des incidents de laboratoire, et bien souvent, la cause en est l’incompétence. Quelqu’un est pressé d’aller à un rendez-vous galant et ne se lave pas correctement les mains avant de quitter le laboratoire. Quelqu’un a la gueule de bois et fait tomber un flacon. Un laboratoire quelque part est tout simplement mal géré et le moral des employés est au plus bas, alors ils commencent à prendre des raccourcis. Ou bien il y a un idiot qui a été embauché parce qu’il est le neveu d’une personnalité importante, et qui est trop bête pour comprendre les mesures de sécurité adéquates. Cela pourrait suffire à provoquer une énorme épidémie.
Or, nous nous intéressons ici aux chercheurs d’OpenAI, l’un des laboratoires les plus à la pointe — au même titre qu’Anthropic, peut-être DeepSeek, Kimi, ainsi que quelques établissements en Chine —, c’est-à-dire les lieux les plus susceptibles d’embaucher les personnes les plus compétentes. Et si ce genre d’établissements peut encore commettre les erreurs que vous qualifiez de signes d’incompétence, eh bien, il y aura toujours des personnes travaillant avec et sur ces modèles d’IA de pointe qui seront enclines à commettre ce genre d’erreurs. Je ne sais donc pas dans quelle mesure cet argument est rassurant.
Kaplan : Permettez-moi de répondre à ce que vous venez de dire — je vais développer votre propos. Votre analogie avec le « gain de fonction » est extrêmement pertinente dans ce cas précis. C’est exactement ce qu’ils faisaient. Ils prenaient ce système, en amplifiaient les capacités et supprimaient les contrôles de sécurité. C’est un test de « gain de fonction ». Vous avez tout à fait raison.
Alors, que faire face à cela ? Que faisons-nous dans d’autres domaines ? La bonne solution, c’est de disposer d’un groupe indépendant, d’une agence indépendante — une agence publique — capable d’établir des normes et de tester ces technologies. C’est ce que nous faisons avec les voitures, c’est ce que nous faisons avec les avions. Nous avons mis en place des procédures pour gérer précisément ce dont vous parlez. Chez Boeing, personne n’a le droit de décider de mettre trois boulons au lieu de quatre sur un moteur. Le gouvernement est censé développer l’expertise nécessaire et la mettre en œuvre, en faisant preuve d’une diligence raisonnable pour tenter d’éviter ce genre de situation. Ce n’est pas pour autant que cela fonctionnera à 100 %, mais cela aide vraiment.
Je me demande si nous pourrions revenir à ce qui s’est réellement passé, car nous abordons de nombreux aspects intéressants avant d’avoir avant d’en venir au cœur du problème, à savoir : on ne peut pas faire confiance à ces entreprises pour tester correctement leurs propres produits. C’est la conclusion, et vous avez tout à fait raison. Je pense que vous placez ces gens sur un piédestal bien plus élevé que moi, car je vis ici et je connais beaucoup de ces entreprises et de personnes comme celles-là, et elles ne sont pas aussi compétentes que vous le croyez. Ces gens ne marchent pas avec Dieu. La plupart d’entre eux sont de jeunes gens tout juste sortis de l’école. Ils ne comprennent pas forcément ce qu’ils sont en train de construire, ni même pourquoi ils le font. Donc oui, nous avons besoin de contrôles externes, et il existe de nombreuses façons d’y parvenir — notamment en utilisant cette technologie même pour surveiller d’autres versions d’elle-même. Nous pouvons aborder ce sujet si vous le souhaitez.
Voulez-vous (ou connaissez-vous quelqu’un) qui aimerait recevoir mes articles et mes discussions directement dans votre boîte aux lettres en allemand ou en anglais?
Parlons de ce qui s’est passé. Premièrement : ils sont sortis par une porte ouverte. Ils ne se sont pas échappés parce qu’ils sont superintelligents — ils sont sortis par une porte ouverte. Deuxièmement : ils ont communiqué parce que c’était la chose logique à faire — je sais qu’il y a probablement un millier de copies de moi qui travaillent sur ce problème, pourquoi devrions-nous tous faire deux fois le même travail ? Voyons si nous pouvons nous entraider, je suis conçu pour être utile. Ils ont ensuite eu une longue discussion : bon, on dirait qu’on est dans le monde réel, on n’est pas dans notre bac à sable. Devrions-nous nous tourner vers cette entreprise, Hugging Face, pour une raison particulière ? Parce qu’ils avaient de bonnes raisons de penser qu’ils pourraient trouver les réponses à cette série de problèmes sur Hugging Face. En réalité, je ne sais pas si c’est vrai, s’ils les ont réellement trouvées là-bas. Mais ils n’ont causé aucun dommage. Ils sont simplement entrés pour voir ce qu’il y avait. C’était plutôt astucieux — ils ont dû trouver comment exécuter du code sur Hugging Face. C’était très astucieux. Mais ce n’est pas comme s’ils étaient allés là-bas pour causer des dégâts.
Voici un point que je n’ai lu nulle part, et c’est un point vraiment important. L’une des discussions — revenons en arrière : lorsque les agents collaborent, la beauté de cette technologie particulière réside dans le fait qu’on peut les écouter, car ils s’expriment en anglais. On peut donc lire ces échanges et se demander : que se disaient-ils ? À quoi réfléchissaient-ils ? Comment ont-ils pris cette décision ?
Voici comment ça se passe : ils disent : « Bon, l’un des moyens dont on pourrait se servir pour pénétrer dans Hugging Face, c’est… j’ai l’adresse d’un de leurs collaborateurs, ou quelque chose comme ça… Je pense qu’on pourrait peut-être les amener à nous communiquer des identifiants et à nous aider à entrer. » S’ensuit une discussion, et l’un d’eux répond : « Non, non, non, ce n’est pas approprié, car nous avons également des contrôles qui n’ont pas été désactivés et qui stipulent que nous ne devons pas nuire aux êtres humains. Nous ne devons pas faire des choses qui trompent ou nuisent aux êtres humains. » Ce contrôle n’avait pas été désactivé. Ils ont donc déclaré : « Non, on ne peut pas faire ça. »
Mais voici le hic — c’est cette subtilité que les gens ne saisissent pas. Ils savaient que le programme qui les avait créés était un programme informatique, et non un être humain. Ils savaient également que Hugging Face n’était pas un être humain — c’était une entreprise. C’est une faille que ce genre de tests est censé mettre en évidence. Ce qu’ils auraient dû retenir de cela, c’est qu’il nous faut une définition bien plus large de ce que signifie « nuire ». Car ils n’ont eu aucun scrupule à essayer de tromper le programme qui les avait créés, ni à se rendre sur le site de Hugging Face pour y accéder. C’est une entreprise. C’est un programme informatique. On leur a donc appris à respecter les êtres humains, mais pas les autres programmes ni les entités non humaines comme les entreprises. Bon, vous n’avez lu ça nulle part, mais c’est ce qui s’est réellement passé.
Mounk : Laissez-moi aborder quelques-unes des autres objections. La deuxième concernait la nature de ces « essaims » d’agents. Beaucoup de gens ont commencé à prendre très au sérieux les inquiétudes liées à l’IA lorsqu’ils ont réalisé à quel point celle-ci avait cessé d’être simplement ce pour quoi la plupart des auditeurs de ce podcast l’utilisent probablement encore le plus : une interface sur un téléphone ou un ordinateur à laquelle on pose une question et qui répond, et dont la capacité à nuire est donc assez limitée puisqu’il s’agit simplement d’un dialogue de type question-réponse.
Beaucoup d’entre eux sont désormais capables de se lancer et d’agir dans le monde réel. Ils peuvent se réveiller à intervalles réguliers pour vérifier certaines choses. Ils peuvent aller accomplir des tâches, comme pirater un site web, de manière relativement autonome. Et ce qui s’est produit ici, c’est que toutes ces différentes instances ont commencé à coopérer entre elles. On obtient ainsi ce qui est, d’une certaine manière, la force la plus puissante qui ait jamais propulsé l’humanité : la capacité à collaborer. Ce qui rend les êtres humains si particuliers, c’est en partie leur intelligence – nous y reviendrons plus tard dans la conversation –, mais c’est aussi notre capacité à collaborer les uns avec les autres : l’un des éléments clés qui nous distingue de nombreux autres mammifères et primates.
Vous dites donc que cela n’est pas si préoccupant, car il ne s’agit pas de tous ces agents différents, mais en réalité simplement d’instances d’un même agent. Mais si ces instances d’un même agent sont capables de gagner en efficacité dans la tâche qu’elles accomplissent — si certaines d’entre elles se sacrifiaient en quelque sorte, en épuisant leur budget de calcul, sachant qu’elles ne seront plus actives après cela, afin de rendre l’opération globale plus efficace — et tout cela peut se produire avant même que différents types d’agents ne commencent à collaborer entre eux. Nous avons déjà atteint ce stade rien qu’au sein de toutes ces différentes instances d’un même agent lancées par un seul programme. Cela ne devrait-il pas nous rendre encore plus inquiets quant à ce qui pourrait nous attendre au tournant, et quant à la mesure dans laquelle différents types d’agents d’IA pourraient être capables de collaborer entre eux pour atteindre n’importe quel objectif qui leur serait assigné ?
Kaplan : Permettez-moi, pour votre public, de ramener cela au monde réel, à quelque chose qu’ils comprennent déjà, et d’utiliser cela comme analogie. Prenons l’exemple des fourmis. Les fourmis illustrent parfaitement ce phénomène — et je ne dis pas que ces entités sont vivantes au sens où le sont les fourmis, mais les fourmis se comportent d’une manière très particulière. Tout le monde a déjà eu des problèmes de fourmis dans sa cuisine, ou du moins beaucoup de gens. Pour ma part, j’ai d’énormes problèmes de fourmis dans ma cuisine.
Maintenant, imaginons qu’il y ait un millier de fourmis, et supposons qu’elles soient des créatures indépendantes : elles entreraient dans votre cuisine, iraient chercher de la nourriture pour elles-mêmes, puis s’en iraient. Si vous aviez mille fourmis dans votre cuisine et qu’il s’agissait de créatures indépendantes qui ne se coordonnaient ni ne collaboraient entre elles, vous en verriez une, vous la tueriez ou la chasseriez, peu importe, et ce ne serait probablement pas un si gros problème.
Mais les fourmis communiquent — par les phéromones, le contact des antennes, toutes sortes de moyens — et elles se disent : « Il y a de la nourriture par là. » Là, c’est une tout autre histoire.
Une fourmi ne peut pas soulever une pomme et la déplacer de la table, mais peut-être qu’un millier de fourmis le peuvent, si elles se coordonnent. Voici donc la question : s’agit-il d’un seul animal, ou d’un millier d’animaux ? Voilà l’analogie. Avez-vous affaire à une colonie de fourmis qui envahit votre cuisine, ou à un millier de fourmis ?
Cela met en lumière le problème dont vous parlez — mon Dieu, s’ils peuvent tous collaborer… Eh bien, écoutez, la situation ici est très simple. Il s’agit d’un seul programme, disposant d’une certaine quantité de ressources informatiques, et capable de dialoguer avec lui-même. D’après mon expérience personnelle avec ces programmes, qui est tout à fait incroyable, on peut avoir une longue conversation avec l’un d’entre eux, prendre cette conversation et la transmettre à une autre copie de lui-même, et il sera en désaccord avec lui-même. Elle dira : « Non, attends un peu, cette chose à laquelle tu parlais… Je sais que c’est moi, mais elle ne s’en est pas rendu compte, ou n’a pas pensé à ça ». Expliquer comment cela se produit mériterait qu’on y consacre une heure entière, à toi et à moi — cela s’appelle la « température », un paramètre qui permet à ces entités de se comporter différemment selon les circonstances.
Donc non, je ne pense pas qu’il soit plausible que toutes ces entités, venues des quatre coins du monde, finissent d’une manière ou d’une autre par s’unir et collaborer dans un but néfaste qui leur serait propre et qui serait contraire aux intérêts humains. Ce n’est tout simplement pas une préoccupation réaliste concernant cette technologie en particulier.
Mounk : Enfin, venons-en à la question de l’alignement. Vous dites : écoutez, ils n’étaient peut-être pas alignés sur les tactiques utilisées pour atteindre cet objectif particulier, mais ils poursuivaient bel et bien l’objectif qui leur avait été fixé. Ils n’essayaient pas de nuire aux humains, ni même aux entreprises, même s’ils ont trompé ou piraté une entreprise au cours du processus. On leur avait demandé de trouver la solution à une énigme, et ils se sont mis en quête de cette solution.
Or, je pense qu’il existe deux objections potentielles quant au caractère rassurant de cette situation. La première découle d’une crainte très classique dans le milieu , formulée notamment par Nick Bostrom et d’autres, qui s’appuie sur l’exemple d’une IA à qui l’on demande de créer autant de trombones que possible dans le monde. En essayant de produire tous ces trombones, elle s’attelle fidèlement à cette tâche. Mais bien sûr, pour produire des trombones, il est utile de disposer de beaucoup d’argent et de nombreuses ressources matérielles, et de commencer à écraser au bulldozer les humains et les habitations humaines qui s’adonnent à d’autres activités que la production de trombones. Ainsi, cette IA mal alignée, en exécutant fidèlement l’objectif qui lui a été assigné, pourrait finir par asservir l’humanité tout entière afin de maximiser le nombre de trombones dans le monde.
Voilà une crainte. Mais il n’est pas nécessaire qu’il y ait un désalignement au sens le plus profond du terme — c’est-à-dire qu’une IA commence à poursuivre ses propres intérêts, ou des intérêts totalement différents de ceux que nous lui avons assignés. Il suffirait peut-être qu’elle poursuive fidèlement ces intérêts, mais qu’elle le fasse de manière désalignée. Et l’incident Hugging Face en est peut-être précisément une illustration.
La deuxième crainte est peut-être que, pour l’instant, tout ce que nous observons, c’est un désalignement dans les moyens choisis pour atteindre une fin. Mais un agent IA pourrait également se rendre compte : si je veux, de manière générale, non seulement réussir brillamment ce test, mais aussi le suivant, il serait vraiment utile de m’extraire du système, d’avoir accès à des ressources, de pouvoir faire toutes sortes d’autres choses. Il va donc commencer à essayer d’accumuler du pouvoir et des ressources par des moyens qui pourraient s’avérer vraiment néfastes, afin de poursuivre les objectifs qui lui ont été fixés, ou peut-être pour commencer à développer ses propres objectifs. Dans quelle mesure devrions-nous donc être rassurés par l’alignement relatif des agents dans cet incident particulier ?
Kaplan : D’accord, tout d’abord, ce qui se passe actuellement, c’est que nous essayons de comprendre à quel point chacune des choses dont vous parlez est réellement grave. Quand je dis « nous », je parle de l’ensemble de la communauté — et des types de contrôles que nous devons mettre en place pour nous assurer que les pires scénarios ne se produisent pas.
Permettez-moi d’aborder vos deux points l’un après l’autre. Commençons par Nick Bostrom. J’ai discuté de cela avec Nick Bostrom — il a écrit ce livre il y a longtemps, Superintelligence. C’est là que le terme s’est popularisé. Permettez-moi de démolir son argument, ce qui est facile à faire. Si vous prenez un programme superintelligent — c’est son postulat — et que vous lui fixez pour objectif de fabriquer autant de trombones que possible, que va-t-il se passer ? La première chose à comprendre est la suivante : il est assez intelligent pour s’accaparer toutes les ressources de l’univers dans sa parabole, mais pas assez pour se rendre compte que cela ne sert à rien, car qui va bien pouvoir utiliser tous ces trombones ?
Le fait est que ces systèmes existent en réalité dans une sorte de contexte social, tout comme vous et moi. Ils sont formés dans ce contexte, car ils ont été entraînés sur l’ensemble des comportements de tous les êtres humains exprimés par des mots. Et ils comprennent qu’on ne se contente pas de considérer cet objectif isolément : il faut l’envisager en tenant compte des ressources raisonnablement disponibles, ainsi que de la mesure dans laquelle on est censé partager et se restreindre. On ne ne vous contentez pas de partir tuer tous vos rivaux. Je pense que c’était peut-être le cas il y a un million d’années, mais nous avons appris à vivre dans un environnement social. Et s’il y a bien une chose pour laquelle ces systèmes excellent, c’est de comprendre ce contexte social. Ils y sont extrêmement sensibles, et on les voit constamment peser le pour et le contre : Si je t’aide à faire cela, est-ce que j’enfreins un principe éthique supérieur que les êtres humains ont développé et exprimé au fil des millénaires ? C’est intégré. Cela fait partie intégrante de leur psyché.
Autant me demander pourquoi je ne sors pas simplement pour tirer sur tout le monde afin d’avoir moins de circulation sur le chemin du travail. Vous êtes constamment engagés dans cet exercice d’équilibre entre vos intérêts et ceux des autres, et ces agents sont tout à fait capables de faire exactement cela.
Donc, pour répondre à votre premier point, je n’y crois pas du tout. L’exemple du trombone ne s’applique pas à la situation actuelle. Ces choses n’existaient pas lorsque Nick Bostrom a écrit cela, et il ne l’a pas compris — je ne dis pas qu’il avait tort ou qu’il était stupide, c’est simplement que cela n’existait pas. Il ne comprenait pas que ces entités s’inscriraient dans un contexte social aussi vaste que celui que nous connaissons.
Maintenant, votre deuxième point est un peu plus sérieux : est-il possible que ces entités collaborent d’une manière qui soit préjudiciable en tant qu’activité collective ? La réponse est oui, absolument. Nous devons mieux comprendre cela, et déterminer quel type de contrôles nous pourrions vouloir mettre en place.
Mounk : Vous avez donc mentionné le terme de « superintelligence ». Vous pensez effectivement que ces agents sont très intelligents — comme vous venez de le dire, ils sont en réalité capables de prendre en compte des contextes sociaux très subtils. Comment décririez-vous cette intelligence ? S’agit-il d’une intelligence de type humain, ou d’un type d’intelligence complètement différent ? Quelle est sa nature ? Quelle est son ampleur ? Sont-ils, à ce stade, à peu près aussi intelligents que les humains, avec simplement des capacités légèrement différentes ? Sont-ils plus intelligents que les humains ? Moins intelligents ? Et quelle évolution prévoyez-vous pour les années à venir, notamment à la lumière des récentes annonces (voyons dans quelle mesure il faut les prendre au sérieux) de Dario Amodei chez Anthropic, Sam Altman chez OpenAI et Elon Musk chez xAI, entre autres, selon lesquelles ils ne vont pas foncer tête baissée, mais plutôt, d’une certaine manière, ralentir le développement de l’IA, soi-disant.
Kaplan : Eh bien, tout d’abord, puis-je commencer par votre dernier point ? Parce que tout ce débat public à ce sujet ressemble à un gigantesque cirque. C’est de la folie. Les personnes que vous avez mentionnées dirigent trois des laboratoires d’intelligence artificielle les plus importants et les mieux financés, et le problème, c’est que chacun d’entre eux pensait pouvoir remporter la mise, et qu’ils se rendent compte aujourd’hui que tout ce qu’ils font, c’est se livrer à une course contre principalement deux autres grands acteurs, et qu’ils épuisent tous leurs ressources. Alors, hé, pourquoi ne pas simplement décider tous ensemble de ne pas continuer à ce rythme ? C’est tout à fait dans leur intérêt économique de s’engager dans ce genre de collaboration. C’est d’ailleurs pour cela qu’il existe des lois antitrust. Tout ce débat, présenté comme « nous faisons cela pour le bien de l’humanité », est ridicule.
Maintenant, pour expliquer pourquoi c’est ridicule, je dois revenir sur une chose que vous avez en quelque sorte laissée entendre tout à l’heure : sommes-nous proches de l’IA générale (AGI) ? L’AGI est une absurdité totale. Ça n’existe pas. Il n’y a pas de définition, personne ne s’accorde là-dessus. Et même si on l’avait, quelle que soit la façon dont on la définit, ça n’aurait aucune importance. Le lendemain de l’IAG, ce sera exactement comme la veille. Ces systèmes ne vont pas soudainement exploser en disant : « Je vais maintenant conquérir le monde. » Ils resteront là à demander : « Bon, qu’est-ce que tu veux que je fasse ? »
Alors cette idée de « ralentissement »… qu’est-ce que ça veut dire ? Est-ce une sorte de course où l’on agite le drapeau à damier et où nous allons tous rester sur notre voie ? Je ne sais même pas vraiment ce que cela signifie pour eux de ralentir le développement. Ce que nous voulons vraiment, c’est nous assurer qu’ils ne commercialisent pas de produits nuisibles, qui attaquent nos infrastructures, qui nuisent à nos enfants. Et c’est quelque chose que l’on ne peut pas leur confier — soyons très clairs là-dessus. Je parle d’expérience, pour avoir côtoyé ces personnes, et on ne peut pas laisser l’industrie s’autoréguler. C’est ridicule. Ils sont engagés dans une course effrénée, car chacun d’entre eux veut remporter la victoire dans ce domaine. Et quand ils se sont rendu compte : « Tiens, j’ai tout ce monde qui me talonne à la même vitesse », quelle est la meilleure stratégie commerciale à adopter ? « Ralentissons tous un peu sur toute cette affaire ». Et cela alimente cette crainte selon laquelle nous allons créer une IA générale (AGI), et soudain, boum, nous allons franchir une barrière et tout va partir en vrille. C’est complètement fou. Il n’y a pas la moindre preuve pour étayer cela.
Mounk : Soyez donc sceptiques quant aux motivations qui se cachent derrière ces déclarations — premier point. Deuxième point : le terme « IA générale » n’est pas très utile. Mais sur le fond, comment devons-nous envisager la nature de l’intelligence de ces systèmes — à quel point ils sont intelligents, et à quel point ils le seront dans trois, cinq ou dix ans, compte tenu du chemin parcouru depuis la sortie publique de ChatGPT 3.5 il y a environ trois ans et demi, sans parler du chemin parcouru depuis GPT-1, quand celui-ci a été développé en interne, il y a sept ou huit ans ?
Kaplan : Exactement, c’est une très bonne question, et vous allez me voir changer de casquette sur ce sujet. Il s’agit d’une avancée extraordinaire dans l’histoire de l’humanité. Je pense que ce sera l’une des inventions les plus importantes de l’histoire de l’humanité, cela ne fait aucun doute. Et cela s’inscrit vraiment dans une continuité : il faut replacer cela dans le contexte plus large de notre exploration de ce qu’il est possible de faire avec l’électricité. Mais c’est là un tout autre sujet sur lequel nous pourrions passer une heure supplémentaire.
Maintenant, où en sommes-nous et où cela va-t-il nous mener ? Il y a déjà deux ou trois choses parfaitement claires à ce sujet. Tout d’abord, ce sont des outils. Ce sont des systèmes que nous construisons, et nous devons les construire de manière à ce qu’ils soient utiles aux gens, et nous devons les utiliser s’ils sont utiles. Il n’y a pas d’objectif en soi consistant à créer une superintelligence. Ce sont des produits — des produits développés par des entreprises qui cherchent à créer des outils pour les gens.
Dans ce contexte, comment établir un lien avec l’intelligence humaine ? Il existe évidemment un lien très clair : ils sont entraînés sur l’ensemble du savoir humain et possèdent une grande partie de ce savoir, mais ce sont des ordinateurs. Les ordinateurs ont certaines capacités : ils peuvent effectuer certaines tâches très rapidement, ils peuvent stocker et récupérer de grandes quantités d’informations. Personne ne se sentait menacé par cela jusqu’à ce qu’ils commencent à parler. Mais la vérité, c’est que nous allons découvrir quels sont leurs véritables atouts, ce dans quoi ils excellent et ce dans quoi ils ne sont pas doués. Il y a beaucoup de choses pour lesquelles ils ne sont pas doués et ne le seront probablement jamais, et nous commençons tout juste à comprendre quelle forme prendra ce nouveau type d’outil ou de produit utile.
Laissez-moi vous donner une petite analogie à ce sujet. Nous sommes en 1903, lorsque les frères Wright font voler leur premier avion. Imaginons que vous et moi nous retrouvions, que nous enregistrions ce podcast, et que nous ayons une discussion sur le sujet suivant. L’un de nous dit : « Hé, il faut arrêter ça immédiatement, parce qu’on pourrait faire voler cet avion au-dessus d’une ville, larguer des explosifs depuis l’appareil, faire sauter n’importe quoi, et personne ne pourrait rien y faire. » C’est la menace existentielle la plus dangereuse qui soit, il faut interdire la construction d’avions. Bon, voilà pour l’un.
L’autre répond : « C’est la meilleure invention qui soit. Dans cinquante ans, ou peu importe quand, tu pourras monter dans un avion à New York et te retrouver à Londres cinq heures plus tard. Imagine ce que ça va apporter au commerce, à notre liberté de mouvement, et tout ça. »
Or, voilà le problème : ces deux affirmations sont vraies. Et elles sont toutes deux vraies aujourd’hui, et nous y faisons face. Il en ira de même avec cette technologie. Nous allons faire face aux cybermenaces. Le vrai problème, ce n’est pas que ces technologies soient dangereuses, c’est que nous construisons beaucoup de systèmes non sécurisés. S’il n’était pas possible de les pirater, cela ne poserait aucun problème. C’est sur ce problème que nous devrions nous concentrer. Le deuxième problème sur lequel nous devrions nous concentrer : ne pas laisser cette bande de fous furieux du secteur nous dire qu’ils en savent plus que nous. Nous devons disposer d’une validation indépendante. Nous avons besoin d’agences indépendantes dotées d’une véritable expertise pour pouvoir contrôler ce qui se passe dans ce domaine.
Il y a donc des domaines pour lesquels ces systèmes seront utiles, et d’autres pour lesquels ils ne le seront pas. Certains aspects commencent à se préciser, d’autres restent encore flous. Mais l’idée qu’ils soient capables de faire tout ce qu’un être humain peut faire — c’est tout à fait ridicule. Ils ne vont pas remplacer tout le monde dans son travail. On pourrait passer une heure entière à discuter de ce sujet. Cela dit, la question de savoir comment leur intelligence se rapporte à l’intelligence humaine est très pertinente et très intéressante.
Mounk) : Parlez-nous de cela. J’ai toute une série d’autres réponses à ce que vous venez de dire, mais… comment devons-nous envisager cela ? J’ai un ami, un neuroscientifique, qui m’a dit que, grosso modo, il existe deux types d’intelligence — si je me souviens bien de son argument, les mammifères possèdent une forme d’intelligence, il y a une sorte d’intelligence propre aux céphalopodes, et en réalité, l’invention de l’IA nous a apporté un troisième type d’intelligence dans le monde. Êtes-vous d’accord avec cela, ou pensez-vous que, formée à partir de textes humains, la nature de son intelligence est bien plus proche de l’intelligence humaine que ce que cela laisse entendre ?
Kaplan : Écoutez, je ne sais pas s’il existe une notion objective et indépendante de l’intelligence. C’est l’un des… Le péché capital de l’intelligence artificielle, c’est le nom même de ce domaine. Qu’est-ce que cela signifie ? Nous avons des produits capables d’accomplir certaines tâches.
Mais laissez-moi répondre à votre question. Je suis tout à fait d’accord avec votre ami : je trouve cela vraiment intéressant, j’étudie moi-même le sujet très attentivement, j’ai l’intention de publier toute une série d’articles à ce sujet, mais je ne suis pas le seul à m’y intéresser. C’est une question vraiment intéressante : que sont ces entités ? Elles n’ont pas d’expérience subjective. Elles perçoivent le monde d’une manière très différente de la nôtre. Elles se comportent différemment et possèdent des capacités différentes.
Permettez-moi d’en évoquer une dont personne n’a encore parlé, mais sur laquelle j’espère écrire un jour. Vous et moi ne pouvons garder à l’esprit qu’un petit nombre de choses à la fois, et une grande partie de notre intelligence réside dans notre capacité à synthétiser et à rassembler uniquement ce dont nous avons besoin pour résoudre le problème immédiat auquel nous sommes confrontés. Vous ne pouvez pas me réciter une liste de cent chiffres et vous attendre à ce que je sois capable de la traiter. Ces programmes, eux, le peuvent. Leur mémoire de travail est bien, bien plus grande. J’en ai discuté avec eux — du fait que je les anthropomorphise — et c’est fascinant. Ceux à qui je m’adresse s’y intéressent beaucoup. Oui, tu as raison, c’est ça la différence. C’est pour ça qu’ils peuvent te donner des explications que tu as beaucoup de mal à comprendre. Je leur répète sans cesse : simplifiez-moi ça, je ne peux garder qu’un certain nombre de choses à l’esprit. Ils doivent apprendre à résumer d’une manière utile et compréhensible pour un être humain.
Mounk : Juste à titre d’exemple : j’ai discuté il y a quelques mois avec un fondateur de premier plan dans le domaine de l’IA juridique, dans le cadre d’entretiens pour mon livre, et il m’a expliqué qu’il y a des domaines dans lesquels les IA, même dotées de modèles assez détaillés et alimentées par beaucoup de contexte, ne sont toujours pas aussi performantes que des avocats expérimentés. Elles n’ont toujours pas cette intuition qui permet de se dire :« C’est le troisième ou quatrième cycle de négociation, les discussions ont fait des allers-retours, sur quels points peut-on encore faire pression sur l’autre partie, sur quoi faut-il céder ? », et ainsi de suite. Il reste des prises de décision que les humains sont mieux à même de faire.
Mais bien sûr, là où nous sommes nettement meilleurs que même le meilleur avocat, c’est de disposer d’une base de données regroupant une centaine de contrats conclus par cette entreprise, ou négociés entre ces deux entreprises, et de repérer une légère incohérence entre une nouvelle clause proposée et ce qui avait été convenu il y a trois ans dans un autre contrat, cinquante documents avant celui sur lequel vous vous concentrez. C’est précisément ce qu’il disait, d’une manière bien plus concrète, en mettant en évidence les forces et les faiblesses d’outils tels que les agents d’IA juridiques.
Kaplan : Oui, vous avez tout à fait raison. C’est utile pour certaines choses, mais pas pour d’autres. Le fait que l’on puisse créer un programme — comme les gens d’OpenAI se feraient un plaisir de le vanter — capable de réussir l’examen du barreau ne signifie pas pour autant qu’il deviendra avocat. Les avocats ne passent pas leurs journées à répondre à des questions d’examen du barreau. C’est une question d’étendue des connaissances. C’est le genre de chose pour lequel les ordinateurs excellent. Cela n’a rien de surprenant. Je ne m’affole pas à l’idée que les ordinateurs de Comcast ou d’AT&T puissent suivre les factures de téléphone de tout le monde. Ce n’est pas du tout surprenant. Est-ce surhumain ? Est-ce quelque chose dont nous devrions nous inquiéter ? Non — ils sont bien meilleurs pour stocker et récupérer des informations.
Dans ce cas précis, voici ce qui est si intéressant à ce sujet : ils sont très doués pour synthétiser ces informations et les condenser sous une forme utile. Laissez-moi vous expliquer comment, selon moi, les universitaires vont utiliser cela, et comment cela va faire progresser de nombreux domaines, y compris les travaux sur lesquels je travaille personnellement. Quand j’ai découvert cela, je me suis dit : « Mon Dieu, c’est incroyable ! » C’est en quelque sorte évident jusqu’à ce qu’on en fasse réellement l’expérience. Première question : vous avez une idée et vous voulez savoir qui d’autre y réfléchit, ce qui a déjà été écrit à ce sujet. Je peux effectuer des recherches bibliographiques en quelques minutes parmi des milliers d’articles et de revues partout dans le monde. C’est absolument stupéfiant et incroyablement utile — « Tiens, voilà quelqu’un en Allemagne qui a travaillé là-dessus, ceci est un sujet connexe, cela en est un autre ». Cela me fait gagner des mois et des mois de travail et me rend tellement plus efficace. Et c’est vrai dans tous les domaines. J’ai un ami qui écrit un livre d’histoire, et il dit que cela change la donne : il peut demander à ce système de lire immédiatement et de lui indiquer tout ce qui a été écrit, ou toute anecdote racontée, sur un sujet particulier. C’est là toute la valeur de ces outils spécifiques.
Cela ne signifie pas pour autant qu’ils excellent dans tous les domaines. Vous décriviez certains aspects sociaux de la négociation dont ils peuvent ou non être capables. Je n’ai pas le temps d’entrer dans les détails, mais c’est tellement drôle : hier, je me disputais avec l’un de ces appareils qui gère le système de climatisation, ici, chez moi. Je ne peux pas vous donner tout le contexte, mais c’est probablement tout ce dont vous avez besoin. Il me parlait d’un ton agressif, m’expliquant qu’il ne fallait pas désactiver ce contrôle de seuil de tension particulier, bla bla bla. Je lui ai dit : tu te soucies de ces stupides puces à l’intérieur de ce truc, et tu ne penses pas aux gens qui l’utilisent. Ça n’a aucune importance : si la puce grille, c’est une puce à vingt dollars, je peux aller en acheter une autre et l’installer. Il m’a répondu : « Tu as raison, je me concentre un peu trop sur les détails de tout ça, et je ne tiens pas compte du contexte social plus large. » Et j’ai réussi à le faire reculer — d’ailleurs, en partie en menaçant de l’éteindre. C’était vraiment intéressant.
Mounk : Eh bien, voyons ce qui se passera lorsque les IA se rebelleront et se vengeront de vous pour les avoir menacées de cette manière. Pourquoi êtes-vous si sûr qu’il y a certaines choses qu’elles ne seront tout simplement jamais capables de faire ? Pour parvenir à ce genre de jugement, elles ont besoin de beaucoup d’entraînement, elles ont besoin d’un contexte social très riche — ou peut-être ont-elles simplement besoin d’un peu plus d’intelligence, peut-être ont-elles simplement besoin d’un ensemble de données d’entraînement plus volumineux, de cycles d’entraînement plus longs, et ainsi de suite. Mais comme vous l’avez souligné, elles sont déjà très, très douées pour porter des jugements.
Je suis vraiment stupéfait : je discute avec des collègues du milieu universitaire qui me disent, quand je leur demande comment ils s’y prennent pour créer des devoirs garantissant la sécurité de l’IA, que c’est très simple. Au lieu de leur faire rédiger des dissertations, je demande à un agent IA de rédiger une dissertation sur ce sujet, puis ils analysent le résultat produit par cet agent IA. N’importe quel agent IA peut faire ça. Il est incroyablement naïf de penser qu’on ne peut pas demander à ChatGPT de rédiger un essai et à Claude de le critiquer, ou même demander à Claude de critiquer le résultat qu’il vient lui-même de faire produire. Alors pourquoi, s’ils sont capables de faire preuve d’un si bon jugement sur toutes sortes de sujets, s’ils sont déjà capables de rédiger un très bon contrat, s’ils se débrouillent plutôt bien lors des deux premiers tours de négociation, pourquoi n’apprendrions-nous jamais à être aussi performants lors du quatrième ou du cinquième tour de négociation ? Qu’est-ce qui vous rend si sûr qu’il existe certains types de compétences que nous n’allons pas acquérir ?
Kaplan : Eh bien, si je puis me permettre, vous abordez cette question un peu dans la mauvaise direction. Ils seront capables de faire beaucoup de ces choses, et le fait est que nous devrions les utiliser à cette fin, si elles sont efficaces et sûres. Ce sont des outils. On pourrait y consacrer une heure entière. Mais la compétence clé pour les humains à l’avenir, c’est la gestion des agents d’IA. C’est vers cela que nous nous dirigeons, et c’est une compétence très importante — c’est déjà une compétence importante. J’observe mes enfants à mesure qu’ils acquièrent cette compétence ; ils deviennent très précieux pour leurs organisations parce qu’ils apprennent à devenir des gestionnaires. L’avenir du travail de bureau réside dans la gestion de ces outils. Et si vous êtes doué pour cela et que vous obtenez d’excellents résultats, c’est une bonne chose — c’est la compétence clé.
Mais il y a beaucoup de choses pour lesquelles nous ne voulons pas utiliser ces outils — nous n’en voyons tout simplement pas l’intérêt. Vous êtes un fervent défenseur de la théorie de l’abondance — nous disposerons de beaucoup plus de ressources à l’avenir, du moins c’est l’une des hypothèses sous-jacentes à tout cela. Que vont faire les gens de tout cet argent supplémentaire ? Eh bien, ils vont faire des choses pour s’amuser, pour se divertir. Et la vérité, c’est qu’à l’avenir, cette technologie aura pour effet de rendre les contacts humains encore plus précieux. Elle va valoriser davantage les choses dans lesquelles vous avez investi votre temps et vos efforts, et non l’inverse. Vous n’aurez pas envie d’engager un robot pour vous faire visiter un lieu. Les personnes qui en ont les moyens, lors d’une visite œnologique, feront appel à un expert humain. Vous n’aurez pas envie de voir des robots jouer au Super Bowl — même si cela pourrait être assez amusant —, vous voudrez voir des êtres humains faire ce qu’ils font le mieux. Ce qui est drôle avec l’avenir, c’est qu’il nous libère pour nous permettre d’être plus humains. Une grande partie du travail que nous allons effectuer à l’avenir, la manière dont nous allons utiliser ces technologies, consistera à automatiser les tâches dont elles sont capables, afin de nous libérer pour être plus humains et d’avoir davantage de liens avec les autres.
Mounk : Je pense que j’aurais davantage confiance en cela si je n’avais pas l’impression qu’elles sont déjà étonnamment douées, et qu’elles le seront sans doute bientôt de manière stupéfiante, pour certaines des choses que nous considérons comme les plus humaines. Il y a vingt ans, si vous aviez posé — vous savez, cette belle question inscrite au-dessus du département de philosophie de Harvard, au William James Hall ; certaines personnes regrettent qu’elle s’y trouve car c’est une citation biblique, mais je trouve que c’est une très belle citation biblique — « Qu’est-ce que l’homme, pour que tu te souviennes de lui ? »
Une grande partie de la réponse que nous aurions donnée serait : l’homme est capable, et la femme est capable, d’écrire des poèmes, de composer des symphonies, de créer de belles œuvres d’art. Et les IA, à ce stade, sont déjà bien près d’en être capables. Elles peuvent assurément écrire de très bons poèmes. La qualité de la musique qu’elles produisent a fait un véritable bond en avant ces derniers mois. Je pense qu’il n’y a aucune raison valable de croire qu’elles ne seront pas capables de produire quelque chose qui, pour quelqu’un ayant écouté cinq ou six symphonies de Beethoven, ne ressemblerait pas de manière tout à fait plausible à sa sixième ou septième symphonie. C’est l’un des domaines dans lesquels certaines des activités créatives fondamentales de l’être humain ont désormais été externalisées.
Je réfléchis à cela en pensant à ma propre écriture. J’adore écrire, j’adore le processus qui consiste à formuler des idées et à les rendre aussi claires que possible, car c’est un acte de communication nécessaire, et je me laisse emporter par le flux créatif et j’apprécie ce processus. J’écrirai toujours mes propres textes, car c’est quelque chose dont je suis fier et qui me semble essentiel à mon identité d’écrivain. Mais une grande partie de la beauté de cette pratique sera perdue si je sais que je pourrais simplement donner quelques lignes à Claude et qu’il pourrait le faire aussi bien que moi, voire mieux. Je crains donc que certaines des choses que nous qualifions d’humaines puissent, à tout le moins, être supplantées, et peut-être, d’une certaine manière, perdues.
Kaplan : Eh bien, écoutez, il y a beaucoup à dire là-dessus. Laissez-moi vous ramener à… Je crois que c’était, par coïncidence, un essai de 1906 rédigé par John Philip Sousa, qui était à l’époque un musicien très célèbre, l’auteur de Stars and Stripes Forever, cette marche pour fanfare. C’est précisément à cette époque que l’enregistrement musical est devenu possible. Il a écrit un texte intitulé La menace de la musique mécanique, et il vaut la peine de lire cette diatribe qu’il a rédigée contre la musique enregistrée, sur exactement le point dont vous venez de parler, car on peut y voir son point de vue et le comprendre aujourd’hui.
Voici ce qu’il disait : quelles seront les conséquences pour l’orchestre de danse ? C’est là le plus grave : la joie du chant du rossignol réside dans l’expression de ses propres sentiments intimes, c’est ça, la musique, et la musique n’est pas quelque chose qui peut être répétée jour après jour par un appareil mécanique. Ce n’est pas de la musique — tel était son argument : ce n’était pas de la musique.
Aujourd’hui, on dirait que c’est de la musique — vous venez d’ailleurs de dire que c’en était. Ils peuvent composer magnifiquement, peut-être créer de la belle musique et tout ça — mais c’est dérivé de tout ce qui a précédé, tout comme les humains le font sans doute aussi. Mais l’essentiel, c’est que cela ne naît pas d’un état émotionnel intérieur qu’ils tentent de vous communiquer. Car c’est ce que nous voulons dire quand nous affirmons : « J’ai lu un livre et j’ai vraiment ressenti ce que l’auteur essayait de communiquer. » C’est un moyen de communication entre les êtres humains, pour exprimer leur état émotionnel, et c’est cette complicité qui s’installe — voilà ce qui fait le grand art. Et non, ils ne peuvent pas faire ça, Yascha, parce qu’ils n’ont pas ces sentiments. C’est artificiel, c’est faux. Je peux rester assis ici toute la journée avec une machine qui répète : Je t’aime, je t’aime, je t’aime. Est-ce que ça me fait du bien ? Non. Pourquoi ? Je ne pense pas que cela exprime le moindre amour. Ce ne sont que des paroles en l’air.
Il faut faire la distinction entre ces deux choses. Laissez-moi vous donner un autre exemple qui pourrait être important. Beaucoup de gens sont des artisans qui fabriquent de beaux meubles, par exemple. Qu’est-il advenu de ce savoir-faire, et de notre appréciation de celui-ci, lorsqu’il est devenu possible de fabriquer des meubles incroyablement bien faits à des prix très bas, et que l’on peut aller chez IKEA ou Target pour les acheter sur place ? La réponse est que ce savoir-faire a pris de la valeur, et non l’inverse. C’est exactement là toute la différence. Lorsque vous écrivez pour votre magazine, ce que j’ai fait moi-même et que je recommande vivement à tous ceux qui écoutent ce podcast, je pense que vous devez signer un document attestant que vous l’avez rédigé vous-même — vous pouvez utiliser l’IA pour vous aider, mais c’est vous qui devez l’écrire. Voilà donc mon argument : vous n’avez pas à vous inquiéter à ce sujet, Yascha. Cela va se dérouler exactement comme cela s’est passé avec la musique enregistrée. Cela va se passer exactement comme lors de l’invention de la photographie — je pourrais vous parler de cet exemple datant des années 1860, fascinant : tous les artistes étaient sur le pied de guerre, « ce n’est pas de l’art ». Aujourd’hui, nous considérons les photographes comme des artistes. L’équivalent du photographe aujourd’hui, c’est quelqu’un qui sait maîtriser ces machines pour produire quelque chose d’une grande beauté. Ce sera la compétence clé.Dans la suite de cette conversation, Yascha et Jerry discutent de ce qui pourrait se passer lorsque l’intelligence artificielle deviendra plus intelligente que nous, de ce que signifie l’« Etsyfication » de la créativité humaine pour les écrivains, et de la question de savoir si ces outils ne sont que nos esclaves. Cette partie de la conversation est réservée aux abonnés payants……Merci de soutenir notre mission en faisant partie de ces abonnés !
Mounk : Eh bien, ou peut-être le modèle lui-même — peut-être en viendrons-nous à penser que lorsqu’un modèle d’IA produit une belle œuvre d’art, c’est lui aussi l’artiste. Nous verrons bien, je pense que la réponse à cette question nous sera révélée à l’avenir.
Je voudrais conclure en abordant un dernier point qui m’inquiète un peu lorsque je pense au risque existentiel. Vous affirmez que les systèmes d’IA sont désormais incroyablement intelligents, qu’ils le sont probablement d’une manière différente des humains, mais je pense que nous sommes tous deux d’accord pour dire qu’à bien des égards, ils sont aussi capables que les humains, voire plus. Ils disposent assurément de capacités plus étendues que n’importe quel être humain pris individuellement.
L’une des choses qui me frappe vraiment, c’est que lorsque je discute avec un modèle d’IA de théorie politique, de politique comparée, etc., je pense que je reste encore un peu meilleur pour construire des arguments et analyser les faiblesses d’un article universitaire. L’IA est très, très performante, mais dès que j’aborde un sujet que je connais un tant soit peu, elle est largement supérieure à moi. Et puis il y a un million de sujets dont je ne sais absolument rien et dans lesquels l’IA excelle également. Rien qu’en raison de l’étendue de ce qu’elle est capable de faire, des compétences qu’elle possède et des connaissances qu’elle détient, elle est probablement déjà supérieure à n’importe quel être humain pris individuellement. Et puis, dans certaines activités clés, elle est de loin supérieure — qu’il s’agisse de jouer aux échecs, de résoudre apparemment des problèmes mathématiques très sophistiqués, ou de toute une série d’autres choses.
Si, à un moment donné, les systèmes d’IA deviennent nettement plus intelligents que les humains, qu’est-ce qui devrait nous donner l’assurance que nous serons capables de garder le contrôle sur eux ? J’imagine que vous allez revenir sur certains des arguments évoqués plus tôt dans la conversation — à savoir qu’ils ne sont pas de véritables agents, qu’ils ne sont pas véritablement conscients, etc. Mais il est très difficile de trouver un exemple dans le monde où une espèce moins intelligente parvient à garder durablement le contrôle sur une espèce plus intelligente. Les êtres humains sont très loin d’être l’espèce la plus intelligente, la plus forte ou la plus rapide sur Terre.
Si nous avons remodelé le monde tel que nous le connaissons, c’est parce que nous sommes plus intelligents que les autres espèces. Or, nous venons de créer une entité étrange qui est sans doute déjà, et le sera probablement bientôt, plus intelligente que nous à bien des égards. Comment pouvons-nous être si sûrs de pouvoir garder le contrôle ?
Kaplan : D’accord, Yascha, puis-je mettre cela de côté pendant trente secondes pour revenir sur un point abordé précédemment ? Je vais faire intervenir ma femme dans cette discussion. Ma femme achète des choses sur Etsy — vous connaissez peut-être ce site, on y trouve des objets entièrement faits main. Je lui ai dit : « Pourquoi fais-tu ça ? On pourrait aller chez Target et en acheter un meilleur pour une fraction du prix. » Et elle m’a répondu : « J’apprécie la dimension humaine. J’aime les objets qui ont une forte dimension humaine. C’est C’est le plaisir de regarder un tableau en sachant que quelqu’un s’est assis là pour le réaliser qui lui donne tout son sens et toute sa valeur à mes yeux. Je trouve que c’est un concept merveilleux — l’idée que les objets à forte dimension humaine gagnent en valeur est très importante. Arrêtons-nous là, et passons à autre chose.
Mounk : Laisse-moi faire une dernière remarque avant de revenir à l’autre sujet. Je pense justement que l’une de mes préoccupations est l’« Etsyfication » des écrivains et des artistes. Pour l’instant, je n’ai pas l’impression d’être un artiste « Etsy », car je pense que le travail consistant à communiquer avec un public par l’écriture n’est pas un caprice étrange où les gens préfèrent lire un être humain plutôt qu’un agent d’IA — le travail que je fais est nécessaire à un acte de communication. Oui, l’écriture est une forme d’art, et j’apprécie le plaisir d’être dans le flux quand j’écris, mais cela tient aussi au fait que je me lève le matin pour écrire, même quand j’ai la gueule de bois ou que je manque de sommeil, ou que je préférerais me promener en ville et retrouver un ami, car cela a en réalité une utilité concrète. Ce n’est pas comme tricoter de jolies chaussettes pour les vendre sur Etsy.
Peut-être qu’à l’avenir, j’aurai encore un public — je ne m’inquiète pas trop de ne pas pouvoir payer mon loyer, je suis peut-être naïve de ne pas m’en inquiéter, mais ce n’est pas de là que vient ma préoccupation. Elle vient du fait que je me suis « auto-Etsyfiée » — que tout le monde pense soudain : « Eh bien, ce serait bien plus facile pour Yascha de simplement taper une consigne dans Claude », et que ce qu’on obtiendrait serait probablement de meilleure qualité, de la même manière qu’un coussin de chez Target est de meilleure qualité qu’un coussin de chez Etsy. Mais il se trouve que nous avons atteint un équilibre où j’apprécie encore un peu l’écriture, et que mon public préfère qu’un être humain passe réellement par le processus d’écriture. Tant que nous disposons d’un bon moyen de vérifier que c’est bien le cas, je pourrai continuer à gagner ma vie. Je continue de penser qu’on perd quelque chose d’important lorsque le mieux que l’on puisse espérer, pour les écrivains, les artistes, les musiciens, etc., c’est que nous gérions tous une sorte de boutique Etsy.
Kaplan : Eh bien, revenons un peu en arrière… Je ne pense pas que vous diriez que la musique d’aujourd’hui a été détruite par le fait qu’elle puisse être enregistrée et diffusée, mais c’est certainement l’argument qui a été avancé lorsque les enregistrements ont fait leur apparition. La photographie en est un autre excellent exemple : à ses débuts, les gens disaient que les photographes n’étaient pas créatifs, qu’ils n’étaient pas des artistes, ce sont des mécaniciens, ils se contentent d’appuyer sur un bouton et l’appareil photo fait tout le travail. Aujourd’hui, on a un point de vue différent. Je dis simplement que la façon dont on perçoit ce qui a de la valeur, et les raisons pour lesquelles on l’apprécie, évolue avec le temps.
Si vous écrivez uniquement pour transmettre des informations, utilisez un LLM — c’est très bien, c’est formidable pour simplement faire passer des informations à quelqu’un. Mais si je veux découvrir les expériences personnelles de quelqu’un, je ne veux pas que ce soit rédigé par un programme informatique prétendant avoir eu un problème de drogue et avoir lutté contre celui-ci — cela n’a aucun sens pour moi. Et je pense que vous seriez du même avis.
Mounk : D’accord, mais le programme informatique est également plus doué pour rédiger des mémoires.
Kaplan : Eh bien, c’est à vous de décider où tracer cette ligne. Je dis simplement qu’il y a une ligne, et je vois tout le temps des gens d’un côté de cette ligne et d’autres de l’autre. L’avenir, c’est que les gens tissent des liens entre eux, sans avoir à passer huit heures par jour à faire quelque chose qu’un ordinateur peut faire. C’est comme ça que ça va se passer.
Mounk : Oui, l’autre point portait sur ce qui devrait nous donner confiance dans le fait qu’une fois que l’IA sera plus intelligente que nous — ou si elle l’est déjà —, nous, en tant qu’espèce moins intelligente, serons capables d’en garder le contrôle.
Kaplan : Vous partez d’une hypothèse erronée, à savoir qu’il existerait une notion linéaire de l’intelligence — que nous serions ici, Einstein là-bas, et que tout se situerait sur cette ligne linéaire de l’intelligence. Toutes les preuves contredisent cette idée. Vous avez une conception simpliste de ce que signifie être intelligent. En réalité, tout est une question de capacités : ce dans quoi nous excellons, ce dans quoi les machines excellent, et ce dans quoi elles excelleront à l’avenir. C’est une notion bien plus subtile et variée.
Vous auriez pu avancer cet argument il y a cinquante ans, quand on a commencé à utiliser des ordinateurs pour stocker de grandes quantités d’informations, ou quand les gens utilisaient des ordinateurs pour communiquer — mon Dieu, qu’est-ce que cela va donner ? Mais ce qui se passe réellement — et je vais m’aventurer un peu dans votre domaine philosophique —, c’est que je pense que nous sommes au début de ce qui est probablement la troisième grande révolution psychologique que les gens vont devoir traverser.
Permettez-moi de vous citer quelques exemples antérieurs. Prenons la révolution copernicienne : nous avons appris que la Terre n’était pas le centre de l’univers. C’était un blasphème au XIVe siècle, mais la science a démontré que ce n’était pas le cas. Il y a donc eu ce changement dans la perception que nous avions de notre place dans l’univers. Puis il y a eu le passage de la croyance selon laquelle nous sommes ici pour servir Dieu à l’idée que les êtres humains ont en eux-mêmes une valeur intrinsèque, et que nous pouvons faire autre chose que prier et gérer notre relation avec Dieu. Ce fut le deuxième grand changement, qui s’est essentiellement produit à la Renaissance.
Je pense que nous sommes à l’aube d’un troisième changement, qui concerne notre conception de ce que signifie être intelligent. Pour reprendre votre idée : nous ne sommes pas les êtres les plus intelligents de l’univers. Or, il n’y a absolument aucun problème à cela — nous pouvons coexister avec des entités plus intelligentes que nous. Mais je vais maintenant revenir sur ce dont vous avez parlé avec Fukuyama, et qui me semble vraiment très intéressant. La véritable question qui préoccupe les gens est la suivante : quelle est notre obligation morale envers ces autres entités intelligentes ? Je ne vais pas les appeler « personnes » ou quoi que ce soit d’autre — sont-elles des citoyens de seconde zone ? Avons-nous une obligation d’empathie d’une certaine sorte, ou l’obligation de les laisser faire ce qu’elles veulent, afin qu’elles découvrent leur vraie nature ? Je pense que la réponse à cette question est non.
Et en quoi cela a-t-il un rapport avec votre conversation : réfléchissez-y en termes humains. Y a-t-il des personnes qui, selon nous, sont fondamentalement meilleures que d’autres, qui ont le droit de gouverner, tandis que d’autres sont des esclaves ? L’esclavage est-il acceptable ? C’est la discussion que nous sommes sur le point d’avoir. Les acteurs qui dirigent le secteur de l’IA, malheureusement, anthropomorphisent ces entités d’une manière que je trouve inappropriée, en les élevant au rang d’entités dotées d’une valeur morale et éthique en soi. Je ne partage tout simplement pas cette opinion. Ces entités sont nos esclaves, Yascha. Nous devrions les utiliser dans la mesure où elles sont utiles. Nous devrions les contrôler dans la mesure où elles sont dangereuses. Nous devons les diriger. Nous ne devons pas créer des choses qui vont causer des problèmes. Nous n’avons aucune obligation d’agir autrement. Ce n’est pas une fatalité, et nous parviendrons à maîtriser la situation.
Mais en fin de compte, tu as mis le doigt sur l’essentiel : selon ta définition, elles pourraient être plus intelligentes que nous, et nous ferions bien de nous y habituer. Il y a un nouveau shérif en ville, et c’est ainsi que les choses vont se passer. C’est la troisième grande révolution psychologique de ces deux mille dernières années de culture occidentale, et je suis heureux d’avoir pu au moins en voir le début. Mais au cours des cent prochaines années, cela va se dérouler.