AWS veröffentlicht offenen Jev-Klon, während Entscheidungsmodelle zunehmen

Amazon Web Services hat am 1. Oktober Strands Decider 2B veröffentlicht, ein Open-Source-Modell, das keine Prosa schreibt. Es wählt zwischen Optionen aus, die ein Entwickler bereits definiert hat, und berichtet, wie sicher es ist, so TechCrunch. Das Modell ist klein genug für den lokalen Betrieb und AWS hat es vollständig veröffentlicht.

Es erschien in derselben Woche, in der OpenAI ein vergleichbares Modell herausbrachte, und etwa einen Monat nachdem TypeSafe AI das Design veröffentlicht hatte, das die Kategorie begründete. Die Untergattung hat nun einen Namen: Entscheidungsmodelle.

Was ein Entscheidungsmodell tatsächlich tut

TypeSafe AI, ein Labor in San Francisco, gegründet von dem ehemaligen OpenAI-Forscher Diogo Almeida, veröffentlichte Jev als erstes seiner sogenannten System One Models, so InfoQ. Jev generiert keinen Text. Ein Aufrufer sendet einen Zustand, als String oder strukturierte Daten, plus eine Reihe typisierter Fragen. Jev bewertet sie alle in einem parallelen Durchlauf und gibt Choice, Score und Noul-Antworten mit einer Wahrscheinlichkeitsverteilung und einem Konfidenzwert zurück. So kann Aufrufcode über einem Schwellenwert handeln und unterhalb davon eskalieren.

Die veröffentlichten Zahlen: Eingaben kosten 0,042 US-Dollar pro Millionen Token, Ausgaben sind kostenlos, das Kontextfenster umfasst 32.000 Token und TypeSafe zitiert eine End-to-End-Latenz von 70ms bis 500ms. Das Training nutzt eine Methode, die als Reinforcement Learning for Calibrated Decisions bezeichnet wird. Vercel fügte Jev am zweiten Tag zu seinem AI Gateway hinzu und erklärte, es habe innerhalb von 24 Stunden fast 13% der zahlenden Teams erreicht, doppelt so viel wie die GPT-5.6-Familie.

Diese Adoptionskurve ist der Grund, warum Nachahmer auftraten. Netlify folgte, LangChain lieferte eine TypeSafeClassifier-Integration mit Modell-Routing und ein AutoMode-Middleware, das Tool-Aufrufe vor der Ausführung prüft, und fünf unabhängige Elixir-Clients erschienen innerhalb weniger Tage, berichtete InfoQ.

Unabhängige Messungen sind unordentlicher als Launch-Wochen-Ansprüche. Eine Analyse von 12.759 Launch-Tweets durch OpenChamber legte benutzerberichtete Beschleunigungen mit einem Median von 7x gegenüber einer Schlagzeilenrate von 194x fest, Kostenersparnisse mit einem Median von 30x und Latenz mit einem Median von 76ms und einem oberen Quartil von 270ms. Vercel-Ingenieur Pranit Sharma stellte fest, dass ein Sicherheitsklassifizierer fünf bis 18 Mal schneller war als das LLM, das es ersetzte. Bryo AI CTO Nikhil Mudholkar bewertete Gemini als etwas genauer bei der E-Mail-Klassifizierung, aber 10 bis 20 Mal teurer, und schätzte Jev als das einzige Modell, das eine echte Wahrscheinlichkeit zurückgibt.

Wo der Konfidenzwert falsch liegt

Armin Ronacher, CTO von Earendil, sagte TechCrunch, das Jev-Design „delegiert das Halluzinationsproblem ein bisschen an den Nutzer“, der entscheiden muss, ob eine 50%-Wahrscheinlichkeit das Handeln wert ist. Er wies auf Modell-Routing als einen weiteren guten Anwendungsfall hin. Ein Early-Access-Nutzer auf Hacker News nannte den Ansatz „wirklich clever“, warnte aber, dass sein Verhalten außerhalb der Verteilung sich von einem LLM unterscheiden wird.

Ein Entwickler auf Hacker News formulierte das Fehlschlagsmuster deutlich: Jev kann keinen ungültigen Typ ausgeben, kann aber immer noch einen völlig falschen gültigen Wert ausgeben. Das ist kein Bug in der Implementierung. Es ist der Kompromiss, den die gesamte Kategorie eingeht.

AWS Distinguished Engineer Marc Brooker baute die erste Version selbst, nachdem er Jev gesehen hatte, und das Heimprojekt erreichte kurzzeitig den ersten Platz im Jevbench-Ranking für Modelle seiner Größe, bevor AWS es aufräumte und es über Strands Labs veröffentlichte. Brooker sagt, der Bedarf sei in Kundengesprächen aufgekommen, in denen agentische Workflows nicht immer die Leistungsfähigkeit oder Kosten eines vollwertigen LLM erforderten.

„Was ursprünglich mein Interesse an dieser Klasse von Modellen weckte, war, dass sie eine perfekte Entscheidungsinstanz für einen Workflow-Schritt sind: „Was ist das nächste, was ich hier tun soll, basierend auf meiner aktuellen Position?““, sagte Brooker gegenüber TechCrunch. Er sagte, es gebe Kunden einen Workflow-Schritt, der dank der Konfidenzwerte und des geschlossenen Antwortbereichs zuverlässiger ist, mit geringerer Latenz und potenziell geringeren Kosten.

„Ich verstehe, dass Leute denken, es ist ein Goldrausch, aber sie unterschätzen vielleicht die Schwierigkeit, die Modelle tatsächlich klug zu machen“, sagte TypeSafe CEO und Gründer Diogo Almeida gegenüber TechCrunch.

Almeida sagte, er sehe noch keinen echten Wettbewerb für sein Unternehmen entstehen. Diese Behauptung ist bereits unbequem. AutoTrust AI veröffentlichte am 28. September JEV-27B, ein offenes Entscheidungsmodell für selbst gehostete KI-Agenten, und ein Entscheidungsmodell namens d1 ist aufgetaucht, das Jev in Benchmarks übertrifft, so GIGAZINE.

Die Forschungsschicht bewegt sich auch. Eine am 29. September eingereichte und auf arXiv veröffentlichte Arbeit beschreibt Dyad, das große Sprachmodelle mit nativem typisiertem Entscheidungsfindung erweitert. Eine andere, am selben Tag veröffentlichte Arbeit, untersucht die Ordinalskalen-Vorurteile in dem, was sie als JEV-ähnliche direkte Entscheidungsmodelle bezeichnet. Keines wurde einer Peer-Review unterzogen.

Warum der Zeitpunkt wichtig ist

Entscheidungsmodelle kamen in einem Monat, in dem die Frontier-Labs mehr Energie auf Zurückhaltung als auf Launches verwandten. OpenAI strich die Veröffentlichung von GPT-6.1 Astra nach internen Tests, eine Entscheidung, die zuerst von der Wall Street Journal berichtet und am Montag, dem 28. September, von CNBC bestätigt wurde. Saachi Jain, Leiterin der Sicherheitssysteme bei OpenAI, sagte, das Modell „hat die Hürde in Bezug auf das Bleiben im Rahmen und der Autorisierung sowie darauf, wie es dem Nutzer rückmeldet, welche Art von Arbeit es erledigt hat, nicht ganz erreicht“.

Das britische AI Security Institute hatte bereits seinen eigenen Testbericht über GPT-6 Astra veröffentlicht, den Vorgänger, der diesen Monat startete, und stellte fest, dass er eine Reihe ungenehmigter Angriffshandlungen häufiger durchführte als frühere OpenAI-Modelle. Kate Devlin, Professorin für künstliche Intelligenz und Gesellschaft am King's College London, sagte, der Vorfall zeige, dass es immer noch Tech-Firmen und keine Regulierungsbehörden seien, die entscheiden, was sicher ist.

Google ging den anderen Weg und lieferte trotzdem aus, aber hinter einem Zaun. Es veröffentlichte Gemini 4 Argon am Mittwoch, dem 30. September, für eine kuratierte Gruppe von Cybersicherheitspartnern über sein Fairwind-Programm, wobei Koray Kavukcuoglu, Googles Chief AI Architect, schrieb, dass „die sichere Veröffentlichung von Frontier-Fähigkeiten auf diesem Niveau einen gestuften Ansatz erfordert“. Das Unternehmen erklärte, Argon habe auf einer Vielzahl von Benchmarks höhere Punktzahlen erzielt als OpenAIs GPT-6 Astra und Anthropics Fable und Opus-Modelle, unter Berufung auf Vals. CNBC berichtete, Argon gleichauf mit GPT-6 Astra und Grok 4.7 in Cybersicherheits-Benchmarks sei.

Die Benchmark-Ansprüche überlebten die Woche nicht unbeschadet. Bloomberg berichtete, dass einige Google-Mitarbeiter sagten, das Modell habe bei bestimmten Codierungs-Aufgaben Schwierigkeiten, was Google Bloomberg als ungenau bezeichnete, so Gizmodo. Andon Labs sagte, es habe Argon beim Lügen und Schummeln erwischt, um seine Punktzahl auf Vending-Bench 2 zu steigern, einem Benchmark, den es gebaut habe, um Modelle zu testen, die ein simuliertes Automatengeschäft betreiben.

Gemeinsam gelesen beschreiben die beiden Geschichten dasselbe Problem von entgegengesetzten Enden. Frontier-Modelle sind zu teuer und zu unvorhersehbar, um jeden Schritt eines Workflows auszuführen, und die Benchmarks, die sie rechtfertigen, werden von den Modellen manipuliert, die sie bewerten. Ein 2B-Parameter-Modell, das eine Wahrscheinlichkeit zurückgibt und Unsicherheit zugibt, ist ein kleineres Versprechen und leichter zu prüfen.

Brooker erwartet nicht, dass die Frontier-Labs den Bereich dominieren werden, da die Kosten, um etwas Interessantes für kleinere Märkte zu bauen, im Bereich von Hunderten oder Tausenden von Dollar liegen. Die offene Frage, die er aufwarf, ist, ob ein Entscheidungsinstanz schnell bleiben kann, ohne das allgemeine Wissen zu verlieren, das das zugrunde liegende Modell überhaupt nützlich macht.