Kategorien
LLM
4 Beiträge

Mein erstes RAFT-Fine-Tuning auf einer geteilten 16-GB-GPU: 7 Stolperfallen, die im Paper fehlen
Ich habe Qwen3.5 mit RAFT trainiert, damit es in der Stimme eines Creators mit geprüften Zitaten antwortet. Das Training war der leichte Teil.
aibenchmarksllm
Capital‑of ist kein einzelnes SAE‑Feature. Also habe ich eine Mutationsschleife gebaut, um herauszufinden, was es ist.
SAE‑Funktionen können Beziehungen in Gemma-2-2B nicht isolieren. Ich habe eine Mutations‑Auswahl‑Schleife gebaut, die das kann. Der Engpass war die Tokenisierung.
aiinterpretabilityllmsparse-autoencoders
Schlafinspirierter Speicher für LLM‑Agenten: 6 Arbeiten, sortiert nach dem, was du diese Woche bereitstellen kannst
Ich habe 6 Arbeiten über biologisch inspirierte Gedächtniswiederholung für LLM‑Agenten gelesen. Nur 2 davon sind deine Zeit wert, wenn du baust, nicht publizierst.
memoryllmagentsmuninndb
Hör auf, dein KI‑System zu entwerfen. Entwirf seine Umgebung.
Selbstentwickelnde KI‑Systeme scheitern, wenn sie einen festen Evaluator optimieren. Das biologische Modell ist richtig: Was sich entwickeln muss, ist der Selektionsdruck, nicht nur das Genom.
aiagentsarchitectureinterpretability