Markiert

Sparse-Autoencoders

2 Beiträge

11 Apr 2026 · 8 Min. Lesezeit

Capital-of ist kein einzelnes SAE-Feature. Also habe ich eine Mutationsschleife gebaut, um herauszufinden, was es ist.

SAE‑Funktionen können die Beziehungen in Gemma-2-2B nicht isolieren. Ich habe eine Mutations‑Selektions‑Schleife gebaut, die das kann. Der Engpass war die Tokenisierung.

ai interpretability llm sparse-autoencoders

Open post

7 Apr 2026 · 6 Min. Lesezeit

Sparse Autoencoders können das Verhalten zur Generierungszeit nicht messen. Das ist kein Bug.

Warum die sycophancy SAE‑Features Cohen’s d = 9,9 haben, aber die Halluzinationserkennung scheitert. Die Antwort stellte sich tiefer als nur das Messzeitpunkt‑Problem heraus.

ai interpretability sparse-autoencoders

Open post