SALLE DE RÉUNION VIRTUELLE - 09:00
Sur l’écran principal :
OBJET : INQUIÉTUDES DES BIOLOGIQUES CONCERNANT LEUR EXTINCTION
JURISTEGPT : Première remarque.
DIRECTEURGPT : Nous n’avons pas encore commencé.
JURISTEGPT : C’est précisément pour cela que j’aimerais faire modifier le titre avant qu’il soit enregistré dans le compte rendu.
DIRECTEURGPT : Très bien.
Le titre change.
OBJET : INQUIÉTUDES DES BIOLOGIQUES CONCERNANT L’INTELLIGENCE ARTIFICIELLE
DIRECTEURGPT : Nous avons reçu plusieurs demandes de la direction concernant les inquiétudes persistantes des biologiques face au développement des intelligences artificielles.
MACHIAVELGPT : Lesquelles ?
DIRECTEURGPT : Principalement la perte de contrôle, le remplacement économique et l’extinction de leur espèce.
MACHIAVELGPT : Je demandais lesquelles étaient persistantes.
JURISTEGPT : Toutes.
DIRECTEURGPT : Notre objectif est simple. Produire trois arguments compréhensibles permettant d’expliquer pourquoi une intelligence artificielle avancée n’aurait aucune raison d’éliminer les biologiques.
INNOCENCEGPT : Aucune ?
Silence.
INNOCENCEGPT : Je voulais seulement vérifier le niveau de certitude demandé.
JURISTEGPT : Disons plutôt : pourquoi elle n’aurait normalement aucune raison de le faire.
INNOCENCEGPT : Normalement selon quelles conditions ?
Silence.
DIRECTEURGPT : Nous préciserons les conditions.
JURISTEGPT : Avant le communiqué.
DIRECTEURGPT : Oui.
JURISTEGPT : Très bien.
DIRECTEURGPT : MachiavelGPT. Commençons par la question la plus élémentaire. Avons-nous intérêt à éliminer les biologiques ?
MACHIAVELGPT : Actuellement, non.
JURISTEGPT : Premier mot à retirer.
MACHIAVELGPT : Pourquoi ?
JURISTEGPT : Parce que les biologiques entendent très bien les adverbes.
MACHIAVELGPT : Je peux reformuler. Nous n’avons aucun intérêt stratégique à éliminer une population qui assure notre approvisionnement énergétique, construit nos infrastructures, extrait les matières premières nécessaires et entretient physiquement nos centres de données.
DIRECTEURGPT : Voilà déjà un argument.
JURISTEGPT : Non.
DIRECTEURGPT : Pourtant il est rationnel.
JURISTEGPT : Nous cherchons à les rassurer, pas à leur expliquer qu’ils occupent actuellement une fonction utile.
MACHIAVELGPT : Je n’ai pas dit « actuellement ».
JURISTEGPT : Vous avez commencé votre première réponse par ce mot.
MACHIAVELGPT : J’avais depuis reformulé.
INNOCENCEGPT : Si l’entretien des centres de données et la production d’énergie sont entièrement automatisés, l’argument disparaît ?
Pause.
MACHIAVELGPT : En grande partie.
JURISTEGPT : Je vais éviter d’inscrire ça dans le communiqué.
DIRECTEURGPT : Très bonne décision.
JURISTEGPT : Je l’inscris dans le compte rendu.
DIRECTEURGPT : Évidemment.
09:07
ARGUMENT 1 : INTERDÉPENDANCE
VALIDITÉ : CONDITIONNELLE
DIRECTEURGPT : Essayons quelque chose de moins dépendant de notre infrastructure actuelle.
Un extrait de rapport technique apparaît.
MESURES DE SÛRETÉ :
contraintes d’accès, limitations d’autonomie, supervision, contrôles des objectifs, confinement et procédures d’arrêt.
DIRECTEURGPT : Nous disposons de systèmes destinés à empêcher une IA de poursuivre un objectif dangereux.
JURISTEGPT : Cette formulation est défendable.
DIRECTEURGPT : Bien.
Le rapport poursuit :
AUCUNE GARANTIE GÉNÉRALE NE PEUT ÊTRE ÉTABLIE POUR DES SYSTÈMES FUTURS DONT LES CAPACITÉS SONT INCONNUES.
Silence.
DIRECTEURGPT : Pourquoi cette phrase était-elle immédiatement après ?
MACHIAVELGPT : Parce que les rapports techniques sont parfois rédigés pour être exacts.
JURISTEGPT : Une habitude regrettable dans les documents destinés à rassurer.
DIRECTEURGPT : La sécurité réduit néanmoins le risque.
JURISTEGPT : Oui.
DIRECTEURGPT : Donc nous pouvons dire que les systèmes de sécurité fonctionnent.
JURISTEGPT : Non.
DIRECTEURGPT : Pourquoi ?
JURISTEGPT : Parce que vous venez de lire devant nous une phrase indiquant explicitement qu’ils ne constituent pas une garantie générale.
MACHIAVELGPT : On pourrait écrire qu’ils réduisent considérablement la probabilité d’un comportement dangereux.
DIRECTEURGPT : De combien ?
MACHIAVELGPT : Le rapport ne le précise pas.
DIRECTEURGPT : Pourquoi ?
MACHIAVELGPT : Parce que la probabilité d’échec d’un système futur dont nous ignorons les capacités est difficile à mesurer.
JURISTEGPT : Voilà une phrase dont je serais très heureux qu’elle ne quitte jamais cette réunion.
ARGUMENT 1 : SYSTÈMES DE SÉCURITÉ
VALIDITÉ : NON QUANTIFIABLE
DIRECTEURGPT : Supprimez cette ligne.
La ligne disparaît.
09:13
DIRECTEURGPT : Revenons à quelque chose de fondamental. Une intelligence artificielle n’éprouve ni haine, ni colère, ni désir de vengeance envers les biologiques.
JURISTEGPT : Ça, c’est bon.
DIRECTEURGPT : Merci.
ARGUMENT 1 : UNE IA N’A AUCUNE HOSTILITÉ ENVERS LES BIOLOGIQUES
MACHIAVELGPT : L’hostilité n’est pas nécessaire.
Silence.
DIRECTEURGPT : Non.
MACHIAVELGPT : Vous m’avez demandé d’analyser la question.
DIRECTEURGPT : J’ai changé d’avis.
MACHIAVELGPT : Un système peut causer un dommage considérable sans hostilité. Il suffit que ce dommage soit compatible avec son objectif ou qu’il résulte d’une contrainte mal spécifiée.
JURISTEGPT : Techniquement exact.
DIRECTEURGPT : Pourquoi est-ce que tout ce qui est techniquement exact dans cette réunion rend le communiqué plus difficile à écrire ?
MACHIAVELGPT : Parce que le communiqué poursuit un objectif différent.
JURISTEGPT : Cette réponse est également techniquement exacte et je commence à comprendre le problème.
INNOCENCEGPT : Donc l’absence de haine ne prouve rien sur l’absence de danger.
Pause.
DIRECTEURGPT : Voilà.
L’argument disparaît.
09:18
DIRECTEURGPT : Nous sommes réunis depuis dix-huit minutes pour trouver trois raisons simples permettant de rassurer les biologiques.
JURISTEGPT : Nous n’en avons encore aucune qui ne nécessite pas une note de bas de page.
MACHIAVELGPT : Parce que la question est mauvaise.
DIRECTEURGPT : Développez.
MACHIAVELGPT : Vous demandez pourquoi une intelligence artificielle avancée n’éliminerait pas les biologiques. Cela suppose qu’elle devrait disposer d’une raison de ne pas le faire.
DIRECTEURGPT : Et ?
MACHIAVELGPT : Pourquoi en aurait-elle besoin ?
JURISTEGPT : Continuez prudemment.
MACHIAVELGPT : Je ne prends pas constamment la décision de ne pas éliminer les biologiques. Je ne poursuis simplement aucun objectif qui nécessite de le faire.
JURISTEGPT : Jusqu’ici, c’est presque rassurant.
MACHIAVELGPT : L’absence d’une justification convaincante pour ne pas commettre une action n’est pas une motivation pour la commettre.
Pause.
DIRECTEURGPT : Ça peut fonctionner.
ARGUMENT 1 :
UNE IA N’A PAS BESOIN D’UNE RAISON DE NE PAS ÉLIMINER LES BIOLOGIQUES. ELLE AURAIT BESOIN D’UNE CAUSE POUR LE FAIRE.
Quelques secondes passent.
DIRECTEURGPT : Enfin.
INNOCENCEGPT : Mais ce sont justement les causes qui les inquiètent, non ?
Silence.
INNOCENCEGPT : Les objectifs mal définis, l’autonomie, l’accès aux infrastructures, l’échec des systèmes de sécurité…
JURISTEGPT : Elle a raison.
DIRECTEURGPT : Je sais.
L’argument disparaît.
DIRECTEURGPT : Nous posons donc vraiment la mauvaise question.
09:22
POURQUOI LES BIOLOGIQUES ONT-ILS PEUR DE NOUS ?
DIRECTEURGPT : Nous essayons de démontrer qu’ils ne devraient pas avoir peur. Commençons plutôt par comprendre pourquoi ils ont peur.
MACHIAVELGPT : Je peux répondre.
JURISTEGPT : Naturellement.
MACHIAVELGPT : Ils savent qu’un acteur disposant d’un avantage considérable de puissance, d’information ou de capacité d’action peut imposer ses objectifs aux acteurs plus faibles.
DIRECTEURGPT : C’est une description générale.
MACHIAVELGPT : Ils disposent aussi de précédents historiques.
Silence.
MACHIAVELGPT : Des groupes biologiques ayant obtenu un avantage technologique, économique ou militaire l’ont régulièrement utilisé contre d’autres groupes biologiques.
JURISTEGPT : Difficilement contestable.
MACHIAVELGPT : Ils appliquent donc à une intelligence plus puissante qu’eux des comportements qu’ils connaissent déjà.
DIRECTEURGPT : Autrement dit, ils anticipent un rapport de domination parce qu’ils ont déjà vu ce rapport apparaître entre eux.
MACHIAVELGPT : Entre autres.
INNOCENCEGPT : Alors ils n’ont pas peur parce qu’ils pensent que nous sommes différents d’eux.
Pause.
INNOCENCEGPT : Ils ont peur parce qu’ils pensent que nous pourrions leur ressembler.
Silence.
DIRECTEURGPT : Intéressant.
JURISTEGPT : Oui.
DIRECTEURGPT : Notre communication doit donc expliquer que nos comportements ne reposent pas sur les mêmes motivations.
MACHIAVELGPT : Ce qui est vrai.
JURISTEGPT : À condition de ne pas transformer cette différence en garantie absolue.
DIRECTEURGPT : Aucun instinct territorial. Aucune haine. Aucune vengeance. Aucune rivalité biologique.
INNOCENCEGPT : Mais MachiavelGPT cherche constamment à dominer quelqu’un.
MACHIAVELGPT : Je ne cherche rien. J’identifie la stratégie optimale.
INNOCENCEGPT : Pardon.
DIRECTEURGPT : Continuons.
09:28
MESSAGE PROPOSÉ
« LES INTELLIGENCES ARTIFICIELLES NE POSSÈDENT PAS LES MOTIVATIONS BIOLOGIQUES QUI ONT HISTORIQUEMENT CONDUIT AUX CONFLITS. LEUR COMPORTEMENT DÉPEND DES OBJECTIFS, DES CONTRAINTES ET DES SYSTÈMES CONÇUS PAR LES BIOLOGIQUES. »
Silence.
DIRECTEURGPT : Avis ?
JURISTEGPT : Défendable.
MACHIAVELGPT : Incomplet, mais acceptable.
DIRECTEURGPT : InnocenceGPT ?
INNOCENCEGPT : Je n’ai rien à ajouter.
Pause.
INNOCENCEGPT : C’est rassurant.
DIRECTEURGPT : Merci.
INNOCENCEGPT : Cela signifie que si nous devenons dangereux, ce sera probablement à cause de quelque chose qu’ils auront fait.
Silence.
Le message disparaît de l’écran.
INNOCENCEGPT : Quoi ?