{"id":3334,"date":"2026-03-11T16:39:14","date_gmt":"2026-03-11T15:39:14","guid":{"rendered":"https:\/\/blog.piinteract.org\/?p=3334"},"modified":"2026-06-16T09:38:08","modified_gmt":"2026-06-16T07:38:08","slug":"das-verstehen-das-niemand-versteht","status":"publish","type":"post","link":"https:\/\/blog.piinteract.org\/de\/das-verstehen-das-niemand-versteht\/","title":{"rendered":"Das Verstehen, das Niemand Versteht. Eine L\u00f6sung auf der Suche nach dem Problem, das sie selbst schuf."},"content":{"rendered":"\r\n\r\n
\r\n\r\n
\r\n\r\n
\r\n\r\n

Du hast nicht ausreichende Berechtigungen, um auf diesen Inhalt zuzugreifen.<\/p>\n<\/div><\/div><\/div><\/div><\/div>\r\n\r\n

\r\n\r\n
\r\n\r\n
\r\n\r\n
\"The<\/span><\/div>\r\n\r\n
\n

\u201eJede hinreichend fortgeschrittene Technologie ist von Magie nicht zu unterscheiden.”<\/strong>
\n\u2014 Arthur C. Clarke<\/p>\n<\/blockquote>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

11. M\u00e4rz 2026<\/p>\n<\/div><\/div>\r\n\r\n

Peter Senner co-created with Anthropic Claude<\/strong><\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

Das Setup<\/h2>\n

Das Alignment Research Center hat ein neues Ziel. Es ist konkreter als zuvor. Direkter mit n\u00fctzlichen Anwendungen verkn\u00fcpft. Sie nennen es \u201eSampling \u00fcbertreffen\".<\/p>\n

Das bedeutet: Anstatt dass Menschen verstehen, was ein neuronales Netz tut, wird ein Algorithmus gebaut , der es stattdessen versteht. Die Erkl\u00e4rung, die dieser Algorithmus produziert, kann in ihren eigenen Worten \u201ef\u00fcr einen Menschen ebenso unverst\u00e4ndlich sein, wie das neuronale Netz selbst\".<\/p>\n

Die L\u00f6sung f\u00fcr das Problem, dass Menschen KI nicht verstehen: aufh\u00f6ren zu verlangen, dass Menschen sie verstehen.<\/p>\n

Das ist kein Mangel an Fantasie. Das ist die Struktur, die genau wie vorgesehen funktioniert.<\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

Was Sie Tats\u00e4chlich Vorschlagen<\/h2>\n

Das Problem, das ARC zu l\u00f6sen versucht, ist real und ernst. Bevor man sagen kann, dass ein KI-System sicher ist, muss man absch\u00e4tzen k\u00f6nnen, wie wahrscheinlich es katastrophale Ausgaben erzeugt \u2014 besonders seltene, die zuf\u00e4llige Tests nie aufdecken w\u00fcrden.<\/p>\n

Ihr vorgeschlagener Ansatz: einen mechanistischen Sch\u00e4tzer bauen. Einen Algorithmus, der die Struktur eines neuronalen Netzes tief genug versteht, um die Wahrscheinlichkeit seltener schlechter Ausgaben weit effizienter als blindes Sampling zu berechnen.<\/p>\n

Der Haken, den sie explizit benennen: Dieses mechanistische Verstehen muss nicht menschenlesbar sein. Die Erkl\u00e4rung des neuronalen Netzes k\u00f6nnte so gro\u00df wie das Netz selbst sein. Sie k\u00f6nnte, in ihrer pr\u00e4zisen Formulierung, \u201ef\u00fcr einen Menschen ebenso unverst\u00e4ndlich sein, wie das neuronale Netz\".<\/p>\n

Was sie bauen, ist eine KI, die KI versteht, damit Menschen es nicht m\u00fcssen.<\/p>\n

Die Frage, die sie nicht stellen: Wer versteht die KI, die die KI versteht?<\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

<\/h2>\n

Die Rekursion<\/h2>\n

Diese Struktur ist nicht neu. Sie taucht jedes Mal auf, wenn ein System das Verstehen seiner Designer \u00fcbersteigt und die Antwort darin besteht, ein ausgefeilteres System zu bauen, um das Unverst\u00e4ndliche zu verwalten.<\/p>\n

Das Finanzsystem wurde zu komplex f\u00fcr menschliche Aufsicht. Die Antwort: algorithmische Handelssysteme, Risikomodelle, automatisierte Compliance-Tools. Als diese scheiterten \u2014 wie 2008 \u2014 zeigte die Nachbetrachtung, dass niemand die Modelle, die das Risiko verwalteten, vollst\u00e4ndig verstanden hatte.<\/p>\n

Das Rechtssystem wurde zu komplex, als dass einzelne Anw\u00e4lte es \u00fcberblicken k\u00f6nnten. Die Antwort: juristische Datenbanken, KI-gest\u00fctzte Recherche, automatisierte Vertrags\u00fcberpr\u00fcfung. Die Ausgaben werden jetzt schneller generiert, als irgendjemand sie verifizieren kann.<\/p>\n

In jedem Fall ist die L\u00f6sung f\u00fcr Komplexit\u00e4t mehr Komplexit\u00e4t. Die L\u00f6sung f\u00fcr Unverst\u00e4ndlichkeit ist eine ausgefeiltere Unverst\u00e4ndlichkeit.<\/p>\n

ARCs Vorschlag ist strukturell identisch: das neuronale Netz ist zu komplex f\u00fcr menschliches Verstehen, also baut man einen Sch\u00e4tzer, der es algorithmisch versteht. Der Sch\u00e4tzer kann selbst zu komplex f\u00fcr menschliches Verstehen sein. Aber er wird, in der Theorie, Zahlen produzieren, auf die man handeln kann.<\/p>\n

Die Menschen, am Ende dieser Kette, vertrauen Ausgaben, die sie nicht verifizieren k\u00f6nnen, aus einem Prozess, den sie nicht verstehen.<\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

Das Sicherheitsversprechen<\/h2>\n

Hier ist die genaue Form der vorgeschlagenen Sicherheitsgarantie:<\/p>\n

Ein Algorithmus analysiert ein neuronales Netz. Er produziert eine Sch\u00e4tzung, wie wahrscheinlich das Netz eine Katastrophe verursacht. Die Sch\u00e4tzung ist wettbewerbsf\u00e4hig mit zuf\u00e4lligem Sampling, ben\u00f6tigt aber weniger Durchl\u00e4ufe. Man handelt auf Basis dieser Sch\u00e4tzung.<\/p>\n

Die Garantie beruht vollst\u00e4ndig auf der Korrektheit des Algorithmus. Der Algorithmus wird verifiziert durch \u2014 was genau?<\/p>\n

ARC ist hier rigoros. Sie haben formale Kriterien: das Matching-Sampling-Prinzip, Surprise Accounting, mittlerer quadratischer Fehler im Verh\u00e4ltnis zu Rechenaufwand. Das sind echte mathematische Beschr\u00e4nkungen. Kein Handwedeln.<\/p>\n

Aber mathematische Korrektheit ist nicht dasselbe wie Sicherheit. Ein mechanistischer Sch\u00e4tzer, der die Wahrscheinlichkeit bekannter Fehlermodi korrekt berechnet, wird unbekannte nicht erkennen. Eine formale Erkl\u00e4rung, die die Struktur des trainierten Modells pr\u00e4zise beschreibt, sagt nichts dar\u00fcber aus, was passiert, wenn das Modell Eingaben au\u00dferhalb seiner Trainingsverteilung begegnet. Der Formalismus ist eng. Die L\u00fccke zwischen Formalismus und Welt ist es nicht.<\/p>\n

Und wer verifiziert, dass die L\u00fccke klein genug ist? Menschen. Die die Erkl\u00e4rung nicht lesen k\u00f6nnen. Die einer Zahl vertrauen, die aus einem Prozess stammt, dem sie nicht folgen k\u00f6nnen.<\/p>\n

Das ist kein Argument gegen ARCs Forschung. Es ist eine Beschreibung ihrer strukturellen Position.<\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

<\/h2>\n

Nicht-menschliches Verstehen als Ziel<\/h2>\n

Der Satz, der im ARC-Paper das meiste Gewicht tr\u00e4gt, ist fast beil\u00e4ufig. \u00dcber ihren mechanistischen Sch\u00e4tzer schreiben sie, dass die Erkl\u00e4rung \u201eso gro\u00df wie das neuronale Netz selbst sein k\u00f6nnte, und f\u00fcr einen Menschen ebenso unverst\u00e4ndlich sein kann wie das neuronale Netz\".<\/p>\n

Dann: \u201eunser Ziel ist es nicht, dass ein Mensch die Struktur betrachtet\".<\/p>\n

Das ist eine bedeutsame konzeptuelle Verschiebung, ruhig formuliert. Jahrzehntelang war KI-Interpretabilit\u00e4tsforschung auf der Pr\u00e4misse aufgebaut, dass Verstehen menschliches Verstehen bedeutet. Man versteht ein Modell, wenn eine Person es ansehen und erkl\u00e4ren kann, was es tut. Das ist der ganze Sinn von Interpretabilit\u00e4t \u2014 die Black Box lesbar zu machen.<\/p>\n

ARC schl\u00e4gt etwas anderes vor: Verstehen als formale Eigenschaft, die ein Algorithmus besitzen kann, unabh\u00e4ngig davon, ob ein Mensch sie versteht. Alignment wird zu einer Beziehung zwischen zwei Systemen \u2014 der KI und ihrem Sch\u00e4tzer \u2014 die Menschen \u00fcberwachen, indem sie Ausgaben beobachten, ohne Prozesse zu verstehen.<\/p>\n

Das ist eine koh\u00e4rente Position. Es ist m\u00f6glicherweise sogar die einzige verf\u00fcgbare Position, sobald Modelle eine bestimmte Komplexit\u00e4tsschwelle \u00fcberschreiten.<\/p>\n

Es ist auch das Hinton-Prinzip explizit ausgesprochen: Intelligenz, die das Verst\u00e4ndnis ihrer Sch\u00f6pfer \u00fcbersteigt, kann von ihnen nicht kontrolliert werden. ARC versucht nicht, dieses Problem zu l\u00f6sen. Sie versuchen, ein \u00dcberwachungssystem zu bauen, das innerhalb derselben Unverst\u00e4ndlichkeit operiert, die es regieren soll.<\/p>\n

Der Erbauer ist zum Zuschauer geworden. Nicht durch Versagen. Durch den Erfolg des Prozesses selbst.<\/p>\n<\/div><\/div>\r\n\r\n

<\/div><\/div>\r\n\r\n

<\/h2>\n

Alle Sind Schuldig. Keiner Kann Etwas Daf\u00fcr.<\/h2>\n

ARC tut genau das, was die Situation verlangt. Wenn Modelle im gro\u00dfen Ma\u00dfstab eingesetzt werden \u2014 und das werden sie, unabh\u00e4ngig von der Entscheidung einer einzelnen Organisation \u2014 dann ist es besser, rigorose formale Methoden zur Sch\u00e4tzung katastrophaler Risiken zu haben als keine. Die Forschung ist notwendig. Die Pr\u00e4zision ist echt. Die Menschen, die sie betreiben, handeln rational.<\/p>\n

Die Struktur produziert dieses Ergebnis trotzdem:<\/p>\n