Alle Beiträge
Reading the Residual Stream
2 Beiträge

Sparse Autoencoders können das Verhalten zur Generierungszeit nicht messen. Das ist kein Fehler.
Warum Sycophancy‑SAE‑Merkmale Cohen's d = 9,9 haben, aber die Halluzinationserkennung scheitert. Die Antwort war tiefer als das Messzeitpunkt‑Problem.
aiinterpretabilitysparse-autoencoders
Capital‑of ist kein einzelnes SAE‑Feature. Also habe ich eine Mutationsschleife gebaut, um herauszufinden, was es ist.
SAE‑Funktionen können Beziehungen in Gemma-2-2B nicht isolieren. Ich habe eine Mutations‑Auswahl‑Schleife gebaut, die das kann. Der Engpass war die Tokenisierung.
aiinterpretabilityllmsparse-autoencoders