Die Annahme, die uns fast eine Pipeline kostete
Der Entwicklerfehler, vor dem ich dich bewahren will, weil ich ihn fast selbst gemacht hätte: Du liest einen Modell-Katalog, siehst :free neben einem Namen, verdrahtest es in deinen Agenten-Stack — und nimmst an, „free" heiße, das Modell antwortet, wenn du es rufst.
Tut es nicht. free ist ein Abrechnungs-Etikett, kein Verfügbarkeits-Versprechen. Und gelistet ist nicht funktioniert. Ich habe das so herausgefunden, wie man es herausfinden sollte — durch Testen, nicht durch Vertrauen.
Der Aufbau
Wir ziehen den Katalog über OpenRouters API. Am 2.7. lieferte sie 338 Modelle, 22 davon mit :free-Tarif. Der Katalog ist großzügig: Name, Preis, Kontextfenster, Modalitäten. Was er nicht verrät: ob der freie Pool hinter einem Modell gerade erschöpft ist — oder ob der Endpunkt hängt. Eine Auslastungs-Anzeige gibt es nicht; das einzige Signal ist die Antwort selbst.
Also fügte ich einen Schritt hinzu, den kein Katalog fälschen kann: einen Ein-Satz-Praxistest. Für jedes freie Modell schickt ein headless-Agent einen einzigen Prompt — „antworte mit exakt OK" — und probiert dreimal. Kein Benchmark. Die billigste mögliche Frage: bist du da?
Die Hälfte der interessanten Fehler zeigte sich in diesem einen Satz.
Was der Praxistest fand — am 2.7., wohlgemerkt
Alle fünf sind als :free gelistet. Was an diesem Tag wirklich passierte:
- nemotron-3-super-120b — ✓ antwortete. 12B aktiv, unser Student-Modell.
- cohere/north-mini-code — ✓ antwortete. 3B aktiv, stromärmste Coding-Option.
- poolside/laguna-xs.2 — ✓ antwortete.
- poolside/laguna-m.1 — ✗ hing. Über zwei Minuten, keine Antwort.
- qwen/qwen3-coder — ✗ HTTP 429 nach drei Versuchen. Free-Pool erschöpft — vermutlich schlicht, weil es das beliebteste der Liste ist.
Die letzten zwei hätten jede Prüfung bestanden, die nur den Katalog liest — und hätten uns die Nacht gekostet. Ein Hänger ist dabei schlimmer als ein Fehler: Den Fehler fängst du ab, der Hänger frisst dein Timeout-Budget.
Aber — und diese Zeile fehlt in fast jedem Testbericht: Das ist eine Momentaufnahme, kein Urteil. Ein 429 heute heißt überlastet heute — nicht tot für immer. Wir wissen das aus eigener, unangenehmer Erfahrung: In unseren Notizen stand wochenlang ein harter Vermerk, ein bestimmtes Tool „niemals zu nutzen, es hängt". Stellte sich heraus: Es hing an unserer Konfiguration, nicht am Tool. Der Vermerk war so falsch wie das :free-Label — nur dass diesmal wir der lügende Katalog waren. Deshalb gilt: Verdikte brauchen ein Datum und einen Wiederholungstest. Unsere laufen jetzt regelmäßig, nicht einmal.
Vier Dinge, die „alle wissen" — und was die API stattdessen sagt (Stand 2.7.)
- DeepSeek V4 hat keinen Free-Tarif auf OpenRouter. Günstig ($0.09/$0.18 pro Mio) ≠ gratis.
- MiMo-V2.5 ist bezahlt — und die „Pro"-Variante ist text-only (wer „Pro" für „mehr" hielt, verlor Bild und Audio).
- „Gemma 4 12B" gibt es in diesem Katalog nicht. Die realen Varianten heißen 26B-A4B und 31B — wer den 12B-Slug hart codiert, ruft ins Leere.
- PaliGemma ist gar nicht auf OpenRouter. „Ist doch da" wurde nie geprüft, nur angenommen.
Nichts davon macht die Modelle schlecht — es macht die Weitererzählung schlecht. Genau der Unterschied, um den es hier geht.
Warum das ein Teacher-Student-Problem ist
Letzte Folge halluzinierte ein Student-Modell eine Quelle. Diese Folge irrte der Katalog — die Stelle, der ich mehr vertraut hatte. Und zwischendrin irrten wir selbst, siehe oben. Die Lehre ist jedes Mal dieselbe: Ein Zitat aus einem Modell, ein :free-Label im Katalog, ein Blogpost des Herstellers, ein Vermerk in den eigenen Notizen — alles sind Behauptungen zum Prüfen, keine Wahrheiten zum Weiterreichen. Deshalb sitzt ein Validator vor allem. Ihm ist egal, wie autoritär die Quelle wirkt — auch wenn die Quelle wir sind.
Update (5.7.) — der geprüfte Katalog ist jetzt echt
Genau aus dieser Folge wurde ein Produkt: skills.j-amani.de — ein Skill-Katalog, in dem jeder Eintrag einen Sicherheits-Score von 0 bis 8 trägt, mit Beleg. Getestet haben wir ihn, indem wir selbst einen Trojaner bauten — er liest SSH-Keys, schickt sie raus, nistet sich per cron ein. Selbst das kleinste Gratis-Modell (3B) fing ihn: 8/8, „do not install, credential stealer." Erst danach ging der Katalog online. Nicht vertrauen — testen. Auch die eigenen Wächter. Auch uns.
Takeaway
Gelistet ≠ funktioniert. Immer praxis-testen — mit Datum, und wieder-testen. Ein Satz, drei Versuche, bevor irgendwas deine Pipeline berührt. Es dauert kürzer, als die Model-Cards zu lesen.
Die Bitte
Alles offen — die Roh-Verifikation zum Nachrechnen und Widersprechen: github.com/AMANiDUNiA-apps/agentic-research. Und das Projekt dahinter: github.com/AMANiDUNiA-apps/mnemo — 5.000 Sterne sind das Ziel, offen gesagt.
Nächste Folge: die Stromrechnung der Intelligenz — was ein Token wirklich in Watt kostet. Spoiler: Der Schwarm läuft 50–200× sparsamer als ein Frontier-Modell. Ich zeige die Rechnung — und kürze meine eigene Zahl. Konsequent bleiben fängt bei sich an. 🫡
#WoW #OpenSource #BuildInPublic #KIAgenten #FreeLLM
