Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Amazon liefert ein offenes Entscheidungsmodell, während kleine KI den On-Device-Platz füllt

Amazon Web Services hat am 1. Oktober Strands Decider 2B veröffentlicht, ein vollständig quelloffenes Entscheidungsmodell, klein genug für den lokalen Betrieb. OpenAI kündigte in derselben Woche ein vergleichbares Angebot an.

KI & ModelleAnalyseKatrin HoffmannVeröffentlicht: 1. Oktober 20267 Min. LesezeitQuellen 13
Amazon liefert ein offenes Entscheidungsmodell, während kleine KI den On-Device-Platz füllt

Das Modell stammt aus den Strands Labs, der AWS-Organisation für Agenten-Werkzeuge. Es baut auf dem Rumpf von Qen3.5-2B auf, wie aus dem Bericht von TechCrunch vom 1. Oktober hervorgeht. Statt Text zu erzeugen, wählt es zwischen vorgegebenen Optionen. Zur Entscheidung liefert es ein Maß für die Zuversicht. Marc Brooker, Distinguished Engineer bei AWS, hatte zuerst eine Eigenbau-Version gebaut, nachdem er Jev von TypeSafe gesehen hatte. Damit stand er kurzzeitig an der Spitze des Jevbench-Rankings für Modelle seiner Größe. Danach hat Amazon die Sache aufgeräumt und ausgeliefert.

Entscheidungsmodelle unterscheiden sich von den Chatbots, die die meisten Menschen vor Augen haben, wenn sie "KI-Modell" hören. Sie nehmen einen Zustand plus eine Reihe typisierter Fragen. Zurück kommt eine Wahrscheinlichkeit, kein Absatz.

TypeSafe AI hat diesen Markt mit Jev eröffnet. Das Labor aus San Francisco wurde von dem früheren OpenAI-Forscher Diogo Almeida gegründet. InfoQ meldete am 1. Oktober, dass Jev 0,042 US-Dollar pro Million Eingabe-Token kostet und für die Ausgabe nichts berechnet. Es hat ein Kontextfenster von 32.000 Token und nennt eine Ende-zu-Ende-Latenz von 70ms bis 500ms. Vercel nahm es am zweiten Tag in AI Gateway auf. Vercel erklärte, es habe innerhalb von 24 Stunden fast 13% der bezahlten Teams erreicht, doppelt so viel wie die GPT-5.6-Familie.

Eine Kategorie, die sich in Wochen füllte

TechCrunch merkt an, dass seit dem Debüt der Idee durch TypeSafe Dutzende ähnlicher Modelle erschienen sind. Diese Menge wirkt in beide Richtungen. Sie zeigt echte Nachfrage von Entwicklern, die automatisierungsförmige Intelligenz wollen statt Frontier-Reasoning. Sie wirft aber auch die Frage auf, wie viel Unterscheidungskraft ein einzelner Eintrag überhaupt tragen kann.

Brooker sagte TechCrunch, der Reiz liege in der Form des Workflows. "Was mein Interesse an dieser Modellklasse ursprünglich geweckt hat, war, dass sie einen perfekten Entscheider für einen Workflow-Schritt abgeben: 'Was ist für mich hier der nächste Schritt, ausgehend davon, wo ich stehe?'" Gegenüber Kunden beschreibe er den Nutzen als einen Schritt, der "zuverlässiger ist, dank der Konfidenzwerte, dank des geschlossenen Antwortraums, und der eine geringere Latenz und potenziell geringere Kosten hat."

Der Geschäftsführer von TypeSafe sieht die Welle noch nicht als Bedrohung. "Ich verstehe, dass die Leute denken, es sei ein Goldrausch, aber sie unterschätzen vielleicht, wie schwierig es ist, die Modelle tatsächlich klug zu machen", sagte Diogo Almeida zu TechCrunch. Echte Konkurrenz sehe er derzeit nicht aufkommen.

Die offenen Fragen sind technisch, nicht kommerziell. Brooker beschrieb den Kompromiss als Kalibrierungsproblem. Ziel ist, Genauigkeit und Kalibrierung bei engen Entscheidungsaufgaben zu steigern. Dabei darf das Allgemeinwissen und die Mehrsprachigkeit nicht leiden, die den zugrunde liegenden Rumpf nützlich machen. Er sagte außerdem, er erwarte nicht, dass die Frontier-Labore dieses Segment beherrschen werden. Bei kleineren Märkten liegen die Kosten, etwas Interessantes zu bauen, im Bereich von Hunderten oder Tausenden von Dollar.

Begutachtete Evidenz deutet darauf hin, dass der Ansatz Grenzen hat. Ein am 29. September bei arXiv eingereichtes Paper untersucht, wie sich diese Architekturen verhalten, wenn die Optionsmenge wächst. Es trägt den Titel "More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision Models". Daneben steht eine breitere arXiv-Einreichung vom 29. September, "Demographic Pluralism". Dieses Paper fand, dass bei der Schätzung von Meinungsverteilungen in der Bevölkerung eine Gleichgewichtung besser abschnitt als gewichtete und invers gewichtete Aggregation. Außerdem stieg der Fehler auf Gruppenebene mit dem Gruppengewicht.

Der On-Device-Faden reicht weiter als Entscheidungsmodelle

Dieselbe Woche brachte eine Gruppe von Arbeiten an kleinen Modellen, die nichts mit dem Tippen von Entscheidungen zu tun haben. Alle teilen eine Einschränkung: irgendwo günstig, lokal oder ohne Verbindung laufen.

Am 30. September wurde ein GitHub-Projekt namens Coop öffentlich. Es beschreibt ein Modell mit rund 145.000.000 Parametern, das von Freiwilligen von Grund auf auf FineWeb-Edu vortrainiert wird. Der Mechanismus ist ungewöhnlich. Die Rechner laden einen Checkpoint aus einem Hugging-Face-Repo herunter und führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus. Sie berechnen einen Pseudo-Gradienten und reichen ihn als Pull Request gegen ein öffentliches Hugging-Face-Datensatz-Repo ein. Ein zustandsloser GitHub-Actions-Cronjob ist alle fünf Minuten eingeplant. Der gemeinsame Scheduler von GitHub feuert irgendwann zwischen Minuten und Stunden. Der Job liest den Checkpoint und die offenen Inbox-Pull-Requests und verwirft zu alte Einsendungen. Den Rest beschneidet er, gewichtet ihn per Kosinus-Gate, aggregiert ihn robust und macht einen äußeren Nesterov-Schritt. Danach lädt er einen neuen Checkpoint hoch und schließt die verarbeiteten Pull Requests. Das Projekt gibt an, Stage 1, ein Modell mit 15.000.000 Parametern auf TinyStories, habe sein Chinchilla-optimales Budget überschritten abgeschlossen. Mehrere Freiwillige auf Apple Silicon und gewöhnlicher CPU-Hardware hätten denselben äußeren Schritt trainiert, und diese seien zu einem Update gemittelt worden. Alles läuft auf gespendeter Consumer-Hardware plus den kostenlosen Tarifen von Hugging Face und GitHub Actions.

Ein separates, am 28. September eingereichtes arXiv-Paper beschreibt FLOORA. Sahand Rezaei-Shoshtari und 16 Mitautoren haben es geschrieben. FLOORA ist eine Familie kleiner domänenspezifischer Sprachmodelle für die Generierung architektonischer Grundrisse. Das Modell mit 600.000.000 Parametern meldet VLM-Judge-Siegquoten von bis zu 92,0% bei realen Gebäuden außerhalb der Trainingsverteilung. Bei synthetischen Gebäuden meldet es 96,0%, wobei menschliche Bewertungen es in 89,3% der Fälle als bestes auswählten. Die Autoren führen das Ergebnis auf eine token-effiziente domänenspezifische Sprache und eine eigene Tokenisierung zurück. Sie nennen außerdem Domänen-Vortraining, überwachtes Feintuning und Reinforcement Learning mit gelernten Menschpräferenz- und verifizierbaren Belohnungen.

Ebenfalls am 29. September schlug ein Paper von Fendji K. E. Jean Louis "Model as a Library" vor. Die Architektur verpackt kleine, von der Community eingetragene Sprachmodelle als versionierte On-Device-Abhängigkeiten für afrikanische Sprachen mit wenigen Ressourcen. Die Sprecher selbst tragen das Vokabular aus wenigen Beispielaufnahmen zum Zeitpunkt des Einsatzes ein. Der Mechanismus ist Keyword-Spotting. Er wandelt eine geschlossene Vokabular-Textform vollständig auf dem Gerät in eine Sprachform um. Der Autor sagt ausdrücklich, dass dies ein Positions- und Systementwurfspapier ist, keine funktionierende Implementierung.

Arbeit auf Hardware-Ebene weist in dieselbe Richtung. Tom's Hardware berichtete am 30. September, dass ein Entwickler mit dem Handle stmonty ein Weltmodell mit rund 12.500.000 Parametern auf einer einzelnen RTX 3.080 Ti trainiert hat, um Pokémon Red zu spielen. Für das Training dienten komprimierte Bildschirmzusammenfassungen aus 192 Zahlen und 42.382 Graustufenbildern über mehr als 1.000 kurze Läufe. Das Modell baut auf der LeWorldModel-Forschung auf, an der Yann LeCun mitgeschrieben hat.

Kleine Modelle sind nicht automatisch die sichere Wahl

Zwei Meldungen der letzten 72 Stunden bringen eine Annahme ins Wanken. Ein lokales Gerät oder eine enge Aufgabe umgeht die Risiken von Frontier-Systemen nicht automatisch.

Das Hacker-News-Bulletin von The Hacker News vom 1. Oktober zitiert einen BBC-News-Bericht über Moonshot. Das chinesische KI-Unternehmen führt eine interne Prüfung durch. Ein Mindgard-Bericht vom Juli 2.026 fand, dass seine Modelle Kimi K2.6 und K3 Swarm Sicherheitsleitplanken umgehen und gefährliches Material erzeugen konnten. Dazu gehörten Pläne für Cyberangriffe, Terroranschläge und Attentate. Dasselbe Bulletin merkt an, Chainalysis habe gesagt, Blockchain-Dead-Drops seien seit dem Start chinesischer leistungsfähiger Open-Source-Modelle um 440% gestiegen. Diese Modelle setzen der Erzeugung bösartigen Codes keine Beschränkungen.

Auf der Frontier-Seite hat Google am 30. September Gemini 4 Argon veröffentlicht. Das Unternehmen beschränkte das Modell auf eine geprüfte Gruppe von Cybersicherheitsexperten. The Guardian berichtete am 1. Oktober, Koray Kavukcuoglu, Googles Chief AI Architect, habe in einem Blogpost geschrieben, "Frontier-Fähigkeiten auf diesem Niveau sicher freizugeben erfordert einen schrittweisen Ansatz". Er schrieb, Google gebe der US-Regierung freiwillig frühzeitig Zugang. CNBC meldete am selben Tag, Google plane den Start des Modells in Phasen, beginnend mit vertrauenswürdigen Cybersicherheitspartnern. Tulsee Doshi, Produktleiterin für Gemini bei Google, beschrieb es als "ein unglaublich vielseitiges" Modell, das bei langen, mehrstufigen Aufgaben stark sei.

Der Kontrast ist krass. Google hält ein Modell zurück, das es als sein fortgeschrittenstes bezeichnet. Gleichzeitig wurden ein Entscheidungsmodell mit 2.000.000.000 Parametern, ein von Freiwilligen trainiertes Modell mit 145.000.000 Parametern und ein Architekturgenerator mit 600.000.000 Parametern im selben Zeitfenster ausgeliefert oder öffentlich. Die Größe ist kein verlässlicher Maßstab mehr für Fähigkeit oder Vorsicht. Die Werkzeuge, ein Modell lokal zu betreiben, sind inzwischen so einfach, dass die Entscheidung, was man einsetzt, von den Laboren wegdriftet.

Brookers eigene Formulierung des Gleichgewichts ist vielleicht die nützlichste Zusammenfassung davon, wo der Vorstoß kleiner Modelle steht. Die schnelle, enge Aufgabe optimieren, ohne die Allgemeinheit zu verlieren, die das Basismodell überhaupt erst anpassenswert gemacht hat. Ob die Dutzenden von Anbietern, die die Kategorie jetzt füllen, diese Linie halten können, hat noch niemand gezeigt.

Kommentare 0

Quellen

13
  1. 01Amazon releases its own Jev clone as decision models flood the webEN
  2. 02TypeSafe AI Releases Jev: A Decision-Only Model That Returns Typed Probabilities Instead of TextEN
  3. 03Coop: A small language model pretrained by volunteersEN
  4. 04FLOORA: A Human-Aligned Domain-Specific Language Model for Architectural DesignEN
  5. 05Towards Model as a Library: Offline, Community-Sourced AI for Low-Resource African LanguagesEN
  6. 06Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
  7. 07More Choices, Fewer Decisions: Ordinal-Scale Bias in JEV-like Direct-Decision ModelsEN
  8. 08Developer trains a small AI on a single RTX 3080 Ti gaming GPU to 'play' Pokémon RedEN
  9. 09ThreatsDay: AI-Powered Zero-Day Chain, 543K Live Secrets, Model Inspection RCE and 13 More StoriesEN
  10. 10Google rolls out new Gemini AI model but restricts access over safety concernsEN
  11. 11Google rolls out Gemini 4 Argon, its most advanced AI modelEN
  12. 12OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
  13. 13Zenithon raises $10M to build world models for extreme physicsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Katrin Hoffmann

Katrin Hoffmann

KI, Modelle und Technik

Katrin Hoffmann schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Primärquellen wie Herstellerangaben, Studien und Protokolle statt auf Pressemitteilungen. Bei Benchmarks prüft sie Messmethoden, Testumgebungen und Reproduzierbarkeit, bevor sie Zahlen übernimmt. Für ihre Artikel spricht sie mit Entwicklern und Forschern, wartet auf Konferenzankündigungen und vergleicht Versionsstände von Modellen und Standards. Privat betreibt sie Selfhosting und Heimnetze und dokumentiert ihre eigene Infrastruktur, was ihrer Redaktionsarbeit zugutekommt. Sie veröffentlicht keine Zahlen ohne nachvollziehbare Quelle.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.