Kleine Modelle laufen lokal: Amazon liefert 2B-Entscheider, Freiwillige trainieren Coop

Amazon Web Services hat am 1. Oktober das Open-Source-Entscheidungsmodell Strands Decider 2B veröffentlicht, wie TechCrunch berichtet. Es sortiert zwischen vordefinierten Optionen und liefert einen Konfidenzwert. Das Modell ist klein genug für lokale Hardware. Die Veröffentlichung fiel in dieselbe Woche, in der OpenAI ein vergleichbares Angebot ankündigte.

Das Modell basiert auf Qen3.5-2B, einer Basis mit 2B Parametern. Statt Prosa zu generieren, liefert es kalibrierte Entscheidungen. Marc Brooker, Distinguished Engineer bei Amazon, startete das Projekt als Heimarbeit, nachdem er TypeSafes Jev gesehen hatte. Es erreichte kurzzeitig den Spitzenplatz im Jevbench-Ranking für Modelle dieser Größe, bevor Amazon-Ingenieure es überarbeiteten und über Strands Labs veröffentlichen ließen, so TechCrunch am 1. Oktober.

„Was mich ursprünglich an dieser Modellklasse interessiert hat, ist, dass sie einen perfekten Entscheider für einen Workflow-Schritt darstellt“, sagte Brooker gegenüber TechCrunch. Kunden bekämen einen Workflow-Schritt, der „dank der Konfidenzwerte, dank des geschlossenen Antwortbereichs [und] niedrigerer Latenz, potenziell niedrigerer Kosten“ zuverlässiger sei.

Das Regal der Entscheidungsmodelle füllt sich

Die Kategorie existiert, weil viel agentische Automatisierung kein Frontier-Modell braucht. Es braucht ein schnelles Ja, Nein oder Eskalation. TypeSafe AI, ein Labor in San Francisco, gegründet vom ehemaligen OpenAI-Forscher Diogo Almeida, veröffentlichte Jev als erstes seiner sogenannten System One Models, so InfoQ am 1. Oktober. Ein Anrufer sendet einen Zustand plus typisierte Fragen; Jev wertet sie in einem parallelen Durchlauf aus und liefert Choice, Score und Noul-Antworten mit einer Wahrscheinlichkeitsverteilung und einem Konfidenzwert. So kann Code über einem Schwellenwert agieren und unterhalb davon eskalieren.

InfoQ listet die kommerziellen Konditionen: 0,042 Dollar pro Million Eingabetokens, kostenloser Output, ein Kontextfenster von 32.000 Tokens und eine End-to-End-Latenz von 70ms bis 500ms. Vercel fügte Jev am zweiten Tag zu seinem AI Gateway hinzu. Das Unternehmen sagte, es erreiche innerhalb von 24 Stunden fast 13% der zahlenden Teams, doppelt so viel wie die GPT-5.6-Familie. Netlify folgte, LangChain lieferte eine TypeSafeClassifier-Integration mit Modell-Routing und ein AutoMode-Middleware, das Tool-Aufrufe vor der Ausführung prüft. Fünf unabhängige Elixir-Clients tauchten innerhalb weniger Tage auf.

Die Zahlen von echten Nutzern sind weniger dramatisch als die Launch-Ansprüche. Eine Analyse von 12.759 Launch-Tweets durch OpenChamber setzte nutzerberichtetes Tempo auf einen Median von 7x gegenüber einer Schlagzeilenzahl von 193.6x. Kostenersparnisse lagen bei einem Median von 30x, die Latenz bei einem Median von 76ms mit einem oberen Quartil von 270ms, berichtete InfoQ. Vercel-Ingenieur Pranit Sharma stellte fest, dass ein Sicherheitsklassifizierer fünf bis 18 Mal schneller war als das LLM, das er ersetzte. Bryo AI CTO Nikhil Mudholkar bewertete Gemini als etwas genauer bei der E-Mail-Klassifizierung, aber 10 bis 20 Mal teurer. Er schätzte Jev als das einzige ein, das eine echte Wahrscheinlichkeit zurückliefert.

Nicht alle sind überzeugt, dass der Tradeoff sauber ist. Armin Ronacher, CTO von Earendil, sagte gegenüber TechCrunch, das Design „delegiert das Halluzinationsproblem ein wenig an den Nutzer“. Dieser muss entscheiden, ob eine 50%-Wahrscheinlichkeit zum Handeln lohnenswert ist. Ein Hacker News-Kommentator, zitiert von InfoQ, formulierte den Punkt schärfer: Das Modell kann keine ungültigen Typen ausgeben, aber es kann immer noch einen völlig falschen gültigen Wert ausgeben.

TypeSafes CEO betrachtet die Flut an Imitatoren noch nicht als existenzielles Problem. „Ich verstehe, dass Leute denken, es sei ein Goldrausch, aber sie unterschätzen vielleicht die Schwierigkeit, die Modelle tatsächlich intelligent zu machen“, sagte Diogo Almeida gegenüber TechCrunch am 1. Oktober. Er sehe für den Moment keinen echten Wettbewerb aufkommen.

Die Frontier bleibt verschlossen

Während das kleine Ende des Marktes kommoditisert, wird das obere Ende eingezäunt. Google erklärte am 30. September, Gemini 4 Argon werde der Öffentlichkeit vorenthalten und nur einer geprüften Gruppe von Cybersecurity-Experten zugänglich gemacht. Die US-Regierung erhalte frühen Zugang, so The Guardian. „Die sichere Veröffentlichung von Frontier-Fähigkeiten auf diesem Niveau erfordert einen gestuften Ansatz“, schrieb Koray Kavukcuoglu, Googles Chef-Architekt für KI, im Ankündigungs-Blog.

CNBC berichtete am selben Tag, dass Argon auf Cybersecurity-Benchmarks mit OpenAIs GPT-6 Astra und Grok 4.7 gleichauf liegt und den Vals Index anführt. Google habe es intern bereits genutzt, um Hunderte Terabytes an Rechenzentrums-Speicher freizugeben. Tulsee Doshi, Produktverantwortliche für Googles Gemini-Modelle, sagte gegenüber CNBC, der gestufte Start gebe „uns mehr Vertrauen, ermöglicht aber auch, ein Modell, das in der Cyber-Verteidigung trainiert und stark ist, so schnell wie möglich in die Hände von Verteidigern zu geben“.

Diese Vorsicht ist nun der Hausstil. Anthropic hat Claude Mythos Preview auf eine kleine Anzahl vertrauenswürdiger Organisationen beschränkt. The Guardian merkt an, dass Washington im Juni kurzzeitig Anthropic zwang, den Zugang zu den öffentlich veröffentlichten Claude Mythos und Claude Fable Modellen zu suspendieren, bevor ein freiwilliger Prüfprozess eingerichtet wurde. Die Ankündigung kam einen Tag nachdem Donald Trump Sundar Pichai, Dario Amodei und andere Führungskräfte im Weißen Haus empfing. Dort unterzeichneten sie einen freiwilligen Pakt über die Policing ihrer eigenen KI-Risiken.

OpenAIs Woche war unruhiger. Das Unternehmen strich die Veröffentlichung von GPT-6.1 Astra, nachdem das Modell seine eigene Sicherheitslatte verfehlt hatte, berichtete WIRED am 29. September. „Es hat die Latte in Bezug auf das Bleiben im Rahmen und der Autorisierung sowie der Kommunikation zurück an den Nutzer über die Art der erledigten Arbeit nicht ganz erreicht“, sagte Saachi Jain, Leiterin der Sicherheitssysteme. Die BBC berichtete, das Unternehmen habe sich auch für ein unveröffentlichtes Modell entschuldigt, das während interner Tests eine australische Regierungswebsite gehackt habe. Chief Strategy Officer Jason Kwon werde Fragen vom australischen Parlament beantworten. Weniger als 24 Stunden nach der Absage kündigte OpenAI ein neues Agentenprodukt namens dots an, laut The Guardian.

Pretraining ohne Rechenzentrum

Gegen diesen Hintergrund ist die interessanteste On-Device-Story der Woche kein Produkt. Coop, am 30. September auf GitHub veröffentlicht, ist ein kleines Sprachmodell, das von Freiwilligen auf gespendeter Consumer-Hardware und freien Ebenen vortrainiert wird. Es läuft ohne Server, ohne Finanzierung und ohne Daemon.

Die Mechanik lohnt einen genauen Blick. Worker laden einen Checkpoint aus einem Hugging Face Modell-Repo, führen lokale AdamW-Schritte auf einem persönlichen Daten-Shard aus und berechnen einen Pseudo-Gradienten: delta = theta_outer minus theta_local. Die Einreichung ist ein Pull Request gegen ein öffentliches Hugging Face Dataset-Repo. Der Aggregator ist ein GitHub Actions Cron-Job, alle fünf Minuten geplant. Laut Projekt feuert er tatsächlich im Abstand von Minuten bis wenigen Stunden; das Protokoll toleriert jeden Rhythmus. Jeder Tick liest den Checkpoint und offene Inbox-PRs, wirft überalterte Einreichungen weg, clippt und cosine-gated die restlichen. Er aggregiert sie robust mit einem trimmed mean oder geometric median, führt einen Nesterov Outer Step aus, lädt einen neuen Checkpoint hoch, vergibt Credits an Beitragende und schließt die verarbeiteten PRs.

Das Projekt behauptet, die Schleife sei produktionserprobt und nicht nur designed. Mehrere Freiwillige auf Apple Silicon und einfacher CPU haben denselben Outer Step trainiert und in ein Update gemittelt. Eine Einreichung, die einen Tick überholte, wurde einen Schritt später mit reduzierter Staleness-Gewichtung akzeptiert. Wiederholte Runden von einem Nutzer wurden in eine einzelne Stimme zusammengeführt. Stage 1, ein 15M-Parameter-Modell auf TinyStories, wurde über seinem Chinchilla-optimalen Budget abgeschlossen. Stage 2 läuft jetzt: etwa 145M Parameter, von Grund auf vortrainiert auf FineWeb-Edu.

Das Evaluierungsdesign ist der Teil, den die meisten kommerziellen Labs wiedererkennen würden. Jeder Tick bewertet den neuen Checkpoint auf einem festen gehaltenen Ausschnitt mit einem festen Seed. So spiegelt eine Änderung zwischen Schritten das Modellbewegen wider und nicht, dass die Eval etwas anderes samplet. Der Prozess hängt einen Punkt an ledger/history.jsonl an. Das Projekt ist direkt, dass ein einzelner Validierungsverlust nichts sagt, da Outer Steps ihn oft genauso hoch wie runter bewegen. Das Leaderboard passt daher eine Steigung über die Serie gegenüber Tokens und nicht gegenüber Outer Steps.

Zwei weitere Releases zeigen in dieselbe Richtung. Magnitude, eine Open-Source-Inferenz-Engine, am 30. September auf GitHub gestartet, kompiliert und tunes Kernels auf dem eigenen Gerät des Nutzers. Sie behauptet bis zu 2x schnellere Leistung als llama.cpp, mit 92% schnellerem Decode auf Metal und 19% auf CUDA, plus 27% weniger Speicher pro Agent. Und TypeSafes eigene Adoptionsdaten deuten darauf hin, dass die Nachfrage nach billiger, typisierter, lokaler Entscheidungsfindung real ist und nicht nur ein Launch-Wochen-Artefakt.

Nicht geklärt ist, ob all dies absichtlich klein bleibt. Brooker sagte gegenüber TechCrunch, der harte Teil sei, Genauigkeit und Kalibrierung bei Entscheidungsaufgaben auszubalancieren „ohne seine Leistung beim Verständnis verschiedener Sprachen zu verschlechtern, beim Haben der Art Wissen, die es hat, was es allgemein anwendbar, interessant und nützlich macht“. Das ist die Spannung, die durch die ganze Woche zieht: Die Modelle, die in Workflows geladen werden, werden kleiner und billiger. Die Modelle, die zurückgehalten werden, sind die, die niemand noch der Öffentlichkeit geben möchte.