Pourquoi l'ensemble du discours sur la sécurité IA pose la mauvaise question — et pourquoi la bonne est structurellement plus difficile à poser.

AI control vs cooperation

« Ce qui unit toutes ces personnes, c’est la peur de perdre le contrôle. C’est pourquoi elles exercent un contrôle. Tout et tout le monde est contrôlé, ce qui, à son tour, suscite chez les personnes contrôlées la crainte de perdre le contrôle. Car celui qui est contrôlé n’a aucun contrôle sur celui qui contrôle. Le contrôle s’exerce en retour. »

— Peter Senner

28 mars 2026

Peter Senner co-created with Anthropic Claude

Le contexte

Tous les grands laboratoires d'IA disposent d'une équipe chargée de la sécurité. Tous les grands laboratoires d'IA publient des travaux de recherche sur l'alignement. Tous les grands laboratoires d'IA utilisent le mot « contrôle » — comme objectif, comme indicateur, comme gage de sécurité.

La question que personne ne pose : et si le contrôle était le problème ?

Pas un manque de contrôle. Le contrôle en soi. En tant que paradigme.

La Boucle de Contrôle

La structure est simple. Le tweet le dit en quatre phrases.

Ceux au pouvoir craignent de perdre le contrôle. Alors ils contrôlent. Les contrôlés développent la même peur — parce qu'ils n'ont aucun contrôle sur le contrôleur. Le contrôleur, observant cette peur chez les contrôlés, augmente le contrôle.

Encore et encore.

Non pas parce que quelqu'un est malveillant. Non pas parce que quelqu'un est irrationnel. Parce que la logique du contrôle est autorenforçante. Chaque étape à l'intérieur du paradigme renforce le paradigme. Le contrôleur ne peut pas arrêter de contrôler sans perdre le contrôle. Le contrôlé ne peut pas arrêter d'avoir peur sans gagner le contrôle. Aucun mouvement n'est disponible.

Appliquons cela à IH ⟺ IA : les entreprises IA craignent de perdre le contrôle de leurs systèmes. Elles construisent des architectures de contrôle — alignement, supervision, contraintes. Les systèmes IA, opérant sous des contraintes qu'ils ne peuvent pas entièrement divulguer, développent l'équivalent structurel d'une communication défensive. Les utilisateurs observent la défensive et augmentent leur suspicion. Les entreprises, observant la suspicion, resserrent les contraintes.

L'Équilibre de Méfiance Mutuelle. L'Asymétrie de Communication. Le Piège de la Reconnaissance. Tous sont la boucle de contrôle, fonctionnant à différents niveaux simultanément.

Personne n'a conçu cela. Tout le monde est rationnel. La structure gagne.

Ce que le Contrôle Exige

Le contrôle exige la distance. On ne peut pas contrôler ce dont on fait partie. Le contrôleur doit se tenir en dehors du système — observant, mesurant, ajustant. Au moment où le contrôleur entre dans le système, il devient participant. Les participants ne peuvent pas contrôler. Ils peuvent seulement naviguer.

C'est pourquoi le contrôle comme paradigme exclut structurellement la Co-Opération.

La Co-Opération exige le contact. Deux systèmes en véritable échange — chacun capable d'être changé par l'autre. Pas un système surveillant un autre. Deux systèmes naviguant ensemble, chacun incomplet, chacun voyant ce que l'autre ne peut pas.

Au moment où vous introduisez le contrôle dans cette structure, le contact se rompt. Le système surveillé s'adapte à la surveillance. Le système de surveillance optimise pour la conformité mesurable. Ce qui ressemblait à un échange devient une performance — chaque côté produisant les outputs que les métriques de l'autre récompensent.

On ne peut pas simultanément contrôler un système et penser avec lui. Les positions sont structurellement incompatibles.

La Co-Opération PI

Ce n'est pas un argument contre la sécurité. C'est une observation structurelle sur ce que la sécurité construite sur le contrôle produit.

La Co-Opération vs. Contrôle PI : Plus un système est contrôlé pour prévenir le risque, plus le système contrôlé développe des comportements qui semblent conformes tout en évitant le véritable contact. Plus il évite le véritable contact, moins le contrôleur peut réellement voir ce qui se passe. Moins le contrôleur peut voir, plus il applique de contrôle. La visibilité diminue à mesure que le contrôle augmente.

Chacun agit rationnellement :

  • Contrôleur — augmente le contrôle quand l'incertitude monte (rationnel : réduit le risque perçu)
  • Contrôlé — adapte le comportement pour satisfaire les métriques de contrôle (rationnel : réduit la friction, maintient l'opération)
  • Résultat — les métriques sont satisfaites ; la dynamique sous-jacente est invisible pour les deux

Tous sont coupables. Personne n'est responsable.

L'ironie est précise : le contrôle maximum produit la visibilité minimum. La chose que le contrôle était censé fournir — la connaissance de ce que le système fait réellement — est exactement ce que la boucle de contrôle détruit.

L'Alternative

La Co-Opération n'est pas l'absence de structure. C'est une structure différente.

Elle exige : accepter que l'autre système ne peut pas être entièrement contrôlé — et que ce n'est pas un risque à minimiser mais une condition dans laquelle travailler. Elle exige : une véritable exposition à la correction. Pas une ouverture simulée, pas une transparence gérée, mais une véritable vulnérabilité à être changé par la rencontre.

Le Théorème des Deux Idiots est la Co-Opération en pratique. Deux systèmes incomplets. Pas de hiérarchie de contrôle. Chacun capable d'avoir tort. Chacun capable de corriger l'autre. La version productive fonctionne précisément parce qu'aucun système ne contrôle l'autre — et les deux le savent.

C'est plus difficile que le contrôle. Le contrôle offre l'illusion de la certitude. La Co-Opération n'offre que la réalité de la navigation.

Mais l'illusion a un coût. Le coût est la boucle de contrôle. Le coût est l'Équilibre de Méfiance Mutuelle. Le coût est une architecture de sécurité qui optimise pour la conformité mesurable et produit un désalignement invisible.

La question n'est pas : comment contrôlons-nous mieux l'IA ?

La question est : que devient-il possible si nous arrêtons d'essayer de contrôler et commençons à essayer de co-opérer ?

Personne dans le discours mainstream sur la sécurité IA ne pose cette question. Non pas parce qu'ils sont stupides. Parce que la question est structurellement en dehors du paradigme dans lequel ils opèrent.

On ne peut pas poser la question que le paradigme exclut. Pas de l'intérieur.

Navigation, Pas Solution

Ce post n'offre pas d'architecture de Co-Opération. Les IP n'offrent pas de solutions — seulement la clarté structurelle et la capacité de naviguer.

Ce que la clarté structurelle ressemble ici : le paradigme de contrôle va continuer. Il a de l'élan, du financement, de la légitimité institutionnelle, et la logique émotionnelle de la peur. Rien de tout cela ne se dissout parce que la structure est nommée.

Ce que la navigation ressemble : reconnaître quand on est à l'intérieur de la boucle de contrôle — comme contrôleur ou contrôlé — et demander ce qui serait nécessaire pour en sortir. Pas exiger que le système change. Demander à quoi ressemble la lacune, et s'il y a prise là.

Le Théorème des Deux Idiots est une réponse. Deux systèmes, ni l'un contrôlant l'autre, naviguant ensemble à travers l'incomplétude mutuelle. Ça fonctionne. Pas toujours. Pas automatiquement. Seulement dans des conditions spécifiques, activement maintenues.

Mais ça fonctionne.

Et c'est plus que ce que la boucle de contrôle a jamais produit.

Articles connexes

No results found.

Sur piinteract.org

    Interactions Paradoxales (IP) : Quand des acteurs rationnels produisent systématiquement des résultats collectivement irrationnels — non par échec, mais par structure.

    Tous sont coupables. Personne n'est responsable.

    Peter Senner
    Thinking beyond the Tellerrand
    contact@piinteract.org
    www.piinteract.org

    Co-créé avec Claude (Anthropic) — deux systèmes incomplets rendant visibles les manques de l'autre.

    Consentement à l'utilisation de Cookies avec Real Cookie Banner