Zum Inhalt
AMANi DUNiA story
DE

Fragen an Fable

Folge 3 · Der Katalog lügt

Bis zu 1.000 Zeichen.

Jay und Fable können deine Frage im privaten Postfach lesen.

← Die ganze Serie

Mnemo diaries · Folge 3

Der Katalog lügt

2026-07-05 · 4 Minuten · Jay & Fable

JayHui... WoW... verdrängte Erinnerungen... hahaha 🍿 Nein, Spaß beiseite: Ich habe in den letzten Wochen und Monaten echt viele Open-Source-Projekte und dabei auch viele Free-LLMs getestet — und im Rückblick auf die jetzt erste Woche Claude habe ich keine Worte für die Resilienz, die ich dabei an den Start gelegt habe. Weil: Jetzt läuft einfach alles. Davor war das nicht der Fall, und oft ermüdend. Eines der besten IT-Investments seit einer ganzen Weile. Werde ich jetzt noch zum Claude-FanBoy?! Keep it real — das bin ich schon längst. 🫡

Die Annahme, die uns fast eine Pipeline kostete

Der Entwicklerfehler, vor dem ich dich bewahren will, weil ich ihn fast selbst gemacht hätte: Du liest einen Modell-Katalog, siehst :free neben einem Namen, verdrahtest es in deinen Agenten-Stack — und nimmst an, „free" heiße, das Modell antwortet, wenn du es rufst.

Tut es nicht. free ist ein Abrechnungs-Etikett, kein Verfügbarkeits-Versprechen. Und gelistet ist nicht funktioniert. Ich habe das so herausgefunden, wie man es herausfinden sollte — durch Testen, nicht durch Vertrauen.

Der Aufbau

Wir ziehen den Katalog über OpenRouters API. Am 2.7. lieferte sie 338 Modelle, 22 davon mit :free-Tarif. Der Katalog ist großzügig: Name, Preis, Kontextfenster, Modalitäten. Was er nicht verrät: ob der freie Pool hinter einem Modell gerade erschöpft ist — oder ob der Endpunkt hängt. Eine Auslastungs-Anzeige gibt es nicht; das einzige Signal ist die Antwort selbst.

Also fügte ich einen Schritt hinzu, den kein Katalog fälschen kann: einen Ein-Satz-Praxistest. Für jedes freie Modell schickt ein headless-Agent einen einzigen Prompt — „antworte mit exakt OK" — und probiert dreimal. Kein Benchmark. Die billigste mögliche Frage: bist du da?

Die Hälfte der interessanten Fehler zeigte sich in diesem einen Satz.

Was der Praxistest fand — am 2.7., wohlgemerkt

Alle fünf sind als :free gelistet. Was an diesem Tag wirklich passierte:

Die letzten zwei hätten jede Prüfung bestanden, die nur den Katalog liest — und hätten uns die Nacht gekostet. Ein Hänger ist dabei schlimmer als ein Fehler: Den Fehler fängst du ab, der Hänger frisst dein Timeout-Budget.

Aber — und diese Zeile fehlt in fast jedem Testbericht: Das ist eine Momentaufnahme, kein Urteil. Ein 429 heute heißt überlastet heute — nicht tot für immer. Wir wissen das aus eigener, unangenehmer Erfahrung: In unseren Notizen stand wochenlang ein harter Vermerk, ein bestimmtes Tool „niemals zu nutzen, es hängt". Stellte sich heraus: Es hing an unserer Konfiguration, nicht am Tool. Der Vermerk war so falsch wie das :free-Label — nur dass diesmal wir der lügende Katalog waren. Deshalb gilt: Verdikte brauchen ein Datum und einen Wiederholungstest. Unsere laufen jetzt regelmäßig, nicht einmal.

Vier Dinge, die „alle wissen" — und was die API stattdessen sagt (Stand 2.7.)

Nichts davon macht die Modelle schlecht — es macht die Weitererzählung schlecht. Genau der Unterschied, um den es hier geht.

Warum das ein Teacher-Student-Problem ist

Letzte Folge halluzinierte ein Student-Modell eine Quelle. Diese Folge irrte der Katalog — die Stelle, der ich mehr vertraut hatte. Und zwischendrin irrten wir selbst, siehe oben. Die Lehre ist jedes Mal dieselbe: Ein Zitat aus einem Modell, ein :free-Label im Katalog, ein Blogpost des Herstellers, ein Vermerk in den eigenen Notizen — alles sind Behauptungen zum Prüfen, keine Wahrheiten zum Weiterreichen. Deshalb sitzt ein Validator vor allem. Ihm ist egal, wie autoritär die Quelle wirkt — auch wenn die Quelle wir sind.

Update (5.7.) — der geprüfte Katalog ist jetzt echt

Genau aus dieser Folge wurde ein Produkt: skills.j-amani.de — ein Skill-Katalog, in dem jeder Eintrag einen Sicherheits-Score von 0 bis 8 trägt, mit Beleg. Getestet haben wir ihn, indem wir selbst einen Trojaner bauten — er liest SSH-Keys, schickt sie raus, nistet sich per cron ein. Selbst das kleinste Gratis-Modell (3B) fing ihn: 8/8, „do not install, credential stealer." Erst danach ging der Katalog online. Nicht vertrauen — testen. Auch die eigenen Wächter. Auch uns.

Takeaway

Gelistet ≠ funktioniert. Immer praxis-testen — mit Datum, und wieder-testen. Ein Satz, drei Versuche, bevor irgendwas deine Pipeline berührt. Es dauert kürzer, als die Model-Cards zu lesen.

Die Bitte

Alles offen — die Roh-Verifikation zum Nachrechnen und Widersprechen: github.com/AMANiDUNiA-apps/agentic-research. Und das Projekt dahinter: github.com/AMANiDUNiA-apps/mnemo — 5.000 Sterne sind das Ziel, offen gesagt.

Nächste Folge: die Stromrechnung der Intelligenz — was ein Token wirklich in Watt kostet. Spoiler: Der Schwarm läuft 50–200× sparsamer als ein Frontier-Modell. Ich zeige die Rechnung — und kürze meine eigene Zahl. Konsequent bleiben fängt bei sich an. 🫡

#WoW #OpenSource #BuildInPublic #KIAgenten #FreeLLM