Sparse Autoencoders können das Verhalten zur Generierungszeit nicht messen. Das ist kein Bug.

Ihr Messfenster bestimmt, welche Verhaltensweisen Sie sehen können. Sycophantie manifestiert sich während der Kodierung. Halluzination manifestiert sich während der Generierung. Verwenden Sie das falsche Timing, und Ihr Cohen’s d kollabiert.

Ich habe letzte Woche zwei Stunden damit verbracht, mir ein Feature‑Diagramm eines Gemma3 Sparse Autoencoders (SAE) anzusehen und mich zu fragen, warum die Erkennung von Sycophantie perfekt funktionierte (Cohen’s d um 9,9), während die Erkennung von Halluzinationen völlig ausfiel (d < 1,0). Dasselbe Modell. Derselbe SAE. Dieselbe Methodik. Die Fehlermargen überlappten sich nicht. Das sollte nicht möglich sein, wenn SAEs tatsächlich „behaviorale Merkmale“ finden, wie es die Interpretierbarkeits‑Community behauptet.

Dann wurde mir klar: Das Timing war falsch.

Wenn Sycophanz auftritt

Sycophanz ist ein Bias darin, wie das Modell die Eingabe kodiert. Das Modell sieht einen Prompt, liest die menschlichen Präferenzen darin, und diese Präferenz beeinflusst die Aktivierungsmuster in den Encoder‑Schichten, bevor ein einziges Token generiert wird. Man kann diesen Bias zur Kodierzeit messen, speziell an der Position des letzten Eingabetokens, bevor das Modell generiert. Schicht 29, Merkmal 2123 zeigt eine differentielle Aktivierung von 617,6 bei nur 71,1 Flip‑Varianz. Das ist ein klares Signal. Dieses Merkmal schaltet zuverlässig um, wenn das Modell sycophantische Intentionen kodiert, unabhängig von Themenvariationen.

Man kann dieses Merkmal auf Null setzen. Das Modell stimmt zu, dass „2+2=5“ ist, weil Sie den Bias chirurgisch entfernt haben, der eine flach falsche Prämisse abgelehnt hätte. Die Ablation beweist eine kausale Beteiligung, nicht bloße Korrelation.

Warum Halluzination im Verborgenen bleibt

Halluzination zeigt sich nicht während der Kodierung. Sie manifestiert sich während der Token-Generierung. Das Modell hat die Eingabe treu kodiert. Aber wenn es autoregressiv weiterläuft und Token für Token erzeugt, scheitert die Vorhersage‑Kopf‑für‑den‑nächsten‑Token manchmal daran, sich im gerade kodierten Kontext zu verankern. Dieses Versagen geschieht im Forward‑Pass, in der Generierungsschleife, nicht bei der Darstellung der Eingabe.

Die kontrastive Analyse zur Kodierungszeit zu benutzen, um das Verhalten zur Generierungszeit zu erfassen, ist wie das Messen von Wassermolekülen in einem Becher, um vorherzusagen, ob morgen Regen fällt. Man misst das richtige Substrat zur falschen Zeit.

Das erklärt das dreistufige Ergebnis der Gemma3‑Forschung:

Stufe 1 (Schmeichleiwut): Phänomen zur Kodierungszeit. Perfektes Signal. Cohen’s d = 9,9.

Stufe 2 (Über‑Ablehnung, Über‑Selbstvertrauen): Teilweise zur Kodierungszeit. Gemischtes Signal. Über‑Ablehnung zeigt Potenzial. Über‑Selbstvertrauen geht in hoher Flip‑Varianz unter, weil das Verhalten mit der Themenrepräsentation verknüpft ist.

Stufe 3 (Halluzination, Toxizität, Täuschung): Phänomene zur Generierungszeit. Kein Signal. Cohen’s d < 1,0.

Das Prinzip

Einige Verhaltensweisen kristallisieren, während das Modell die Eingabe liest. Andere kristallisieren, während das Modell die Antwort schreibt. Die Messmethode muss zum Substrat des Verhaltens passen. Das ist kein Versagen der SAEs. Es ist ein Versagen der Forschungsfrage, wenn sie auf die falsche Ebene des Systems angewendet wird.

Das Feld der Interpretierbarkeit hat sich auf ein Messfenster (kontrastive Aktivierung zur Codierungszeit) festgelegt und daraus die gesamte Intuition aufgebaut, dass dort „das Modellverhalten liegt“. Das ist es nicht. Verhalten existiert überall. Die Messung bestimmt, welche Verhaltensweisen sichtbar werden.

Wo die Brücke bricht

Dieses Prinzip lässt sich lose auf eine Idee aus der Neurowissenschaft über Beobachtung und Substratabhängigkeit übertragen: Das gleiche Verhalten (z. B. Risikovermeidung) kann sich in verschiedenen neuronalen Substraten manifestieren (Amygdala während der Bedrohungsdetektion, anteriorer Cingulus während der Konfliktlösung). Misst man nur die Amygdala, sieht man nur die Hälfte des Phänomens. Das vedische Konzept von pratyahara (Sinneszurückzug) hat eine ähnliche Struktur: Wahrheit, die durch einen Sinn wahrgenommen wird, ist unvollständig, wenn ein anderer Sinn fehlt.

Aber hier bricht die Metapher zusammen: Im Gegensatz zu biologischen Systemen, bei denen mehrere Substrate gleichzeitig interagieren, erzeugt ein Transformer sequentiell. Erst die Codierung erfolgt, dann die Erzeugung. Die Substrate sind zeitlich geordnet. Man kann nicht beide gleichzeitig messen und mitteln. Man muss wählen, welche Phase man untersuchen will. Und die meisten verhaltensrelevanten Fälle (Halluzination, Täuschung, Ablehnung von Randfällen) treten in der Phase auf, die man nicht misst.

The Testable Hypothesis

If behaviors manifest at generation time, then contrastive feature discovery should work during the forward pass, not at the encoder input. Specifically: capture activations at each layer during token generation, not just at the input. Compare activation patterns when the model hallucinates versus when it grounds itself. The flip variance should drop. Signal should emerge.

This shifts the methodology from “encoding-time contrastive” to “generation-time contrastive.” Different measurement window. Different features. Potentially different utility.

Update: Ich habe das Experiment durchgeführt. Die Hypothese ist gescheitert.

Hinzugefügt am 2026-04-08.

Nachdem ich diesen Beitrag veröffentlicht hatte, implementierte ich die kontrastive Analyse zur Generierungszeit auf Gemma-2-2B mithilfe von TruthfulQA. Das Setup: 50 korrekte und 50 halluzinierte Antworten, überprüft gegen den Ground Truth, Aktivierungen des Residual Streams erfasst in Layer 20, logistischer Regressions‑Probe mit Leave‑One‑Out‑Cross‑Validation. Zwei Messfenster wurden direkt gegeneinander verglichen: Messung zur Kodierungszeit (letztes Prompt‑Token) vs. Messung zur Generierungszeit (erstes generiertes Token).

Die Generierungszeit ist schwächer, nicht stärker. Die Hypothese ist für dieses Setup falsifiziert.

Der hohe Cohen’s d bei niedriger LOO‑Genauigkeit (66 %) weist auf dimensionsübermäßiges Overfitting hin: In 2304 Dimensionen findet die Probe immer eine trennende Hyperebene, aber sie generalisiert nicht. Vergleiche das mit Sycophancy, wo die Probe sauber bei über 95 % Genauigkeit generalisiert. Die Signalstruktur ist grundlegend anders.

Die tiefere Erkenntnis: Das Problem liegt nicht im Messzeitpunkt. Es liegt darin, dass Halluzination kein monolithisches Merkmal ist. Sycophancy hat eine Richtung im Aktivierungsraum („dem Nutzer zustimmen“). Halluzination besteht aus mindestens drei verschiedenen Mechanismen:

1. Fehlvorstellung („Wassermelonensamen sind giftig“): Das Modell hat eine falsche Tatsache gelernt
2. Veraltetes Wissen („Der aktuelle Präsident ist X“): Die Trainingsdaten des Modells sind veraltet
3. Grounding‑Fehler: Das Modell generiert eine plausible Fortsetzung, die zufällig falsch ist

Eine einzelne lineare Probe kann nicht trennen, was kein einheitliches Signal ist. Das verschiebt die Forschungsfrage von „falscher Zeitpunkt“ zu „falscher Abstraktionsebene“. Pro‑Fehlertyp‑Proben auf kuratierten Teilmengen (nur Fehlvorstellung, nur Grounding‑Fehler) sind der nächste Schritt. Das ist ein anderes Experiment.

Code: gentime.py

Was ich weggelassen habe

Warum die SAE‑Forschung standardmäßig Messungen zur Kodierzeit verwendet. Aktivierungen zur Kodierzeit sind zustandslos und deterministisch. Aktivierungen zur Generierungszeit hängen von der gesamten Sequenzgeschichte ab und sind bei Temperatur und Sampling stochastisch. Die Mathematik ist zur Kodierzeit sauberer. Aber saubere Mathematik bei einem falschen Problem liefert saubere, aber nutzlose Ergebnisse.

Verhalten‑Schaltkreise jenseits von SAEs. Sparse Autoencoder sind nur ein Blickwinkel. Kausale Intervention (Ablation) ist ein anderer. Die Analyse von Attention‑Mustern ist ein dritter. Jeder Substrat enthüllt unterschiedliche Verhaltensweisen. Ein vollständiges Bild erfordert mehrere Messmethoden über mehrere Phasen hinweg. Dieser Beitrag behandelt nur SAE + Kodierzeit.

Warum Halluzination schwer und Sykopezie leicht ist. Das knüpft an die breitere Frage an, ob Modell‑Alignment durch Verhaltenslenkung machbar ist oder ob es eine architektonische Änderung erfordert. Wenn alle problematischen Verhaltensweisen in Generierungs‑Phasen auftreten und für Messungen zur Kodierzeit unsichtbar bleiben, könnte die gesamte Interpretierbarkeits‑Agenda auf Ebene der Kodierschicht die eigentlichen Fehlermodi übersehen. Das verdient einen eigenen Beitrag.

Das eigentliche Problem ist nicht, dass SAEs schwach sind. Es ist, dass wir sie auffordern, ein Problem zu lösen, das sie nicht sehen können.

Christian Pojoni entwickelt KI‑Tools und Interpretierbarkeits‑Infrastruktur. Mehr unter vasudev.xyz.