Coops 145-Millionen-Modell von Freiwilligen und der Vormarsch kleiner Modelle
Ein Sprachmodell mit 145 Millionen Parametern wird jetzt von Grund auf auf gespendeter Consumer-Hardware vortrainiert. Das Projekt nutzt keine Server und keine Finanzierung, heißt es in seinem GitHub-Repository, das am 30. September aktualisiert wurde.

Das Projekt heißt Coop. Sein Repository beschreibt eine Trainingsschleife, die vollständig auf Rechnern von Freiwilligen läuft. Genutzt werden außerdem die kostenlosen Tarife von Hugging Face und GitHub Actions.
Stufe 2 läuft: ein Modell mit rund 145 Millionen Parametern wird auf FineWeb-Edu vortrainiert. Stufe 1, ein Lauf mit 15 Millionen Parametern auf TinyStories, endete jenseits seines Chinchilla-optimalen Token-Budgets. Freiwillige laden einen Checkpoint herunter und führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus. Danach reichen sie einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Hugging-Face-Dataset-Repository ein. Ein Cron-Job von GitHub Actions läuft alle fünf Minuten. Er liest die offenen Pull Requests und verwirft veraltete. Die übrigen begrenzt er, filtert sie und fasst sie mit einem getrimmten Mittel oder geometrischen Median zusammen. Dann macht er einen Nesterov-Schritt und lädt einen neuen Checkpoint hoch. Das Repository merkt an, dass der geteilte Scheduler von GitHub in der Praxis mal nach Minuten, mal erst nach einigen Stunden auslöst. Das Protokoll verträgt jedes Tempo.
Das Projekt bezeichnet seine Schleife als produktionserprobt und nicht nur entworfen. Mehrere Freiwillige, auf Apple Silicon und auf einfacher CPU, haben denselben äußeren Schritt trainiert. Dieser Schritt wurde zu einem einzigen Update gemittelt. Eine Einsendung, die mit einem Tick kollidierte, wurde einen Schritt später mit geringerem Gewicht für Veraltung angenommen. Wiederholte Runden eines Nutzers flossen zu einer einzigen Stimme zusammen. Eine halb fertige Runde wurde geleert statt verworfen.
Das ist wichtig, weil das untere Ende des Marktes immer voller wird. Am 2. Oktober veröffentlichte Microsoft AI MAI-Transcribe-2-Streaming, ein Echtzeit-Transkriptionsmodell für 60 Sprachen. Erste Teilergebnisse kommen in etwas mehr als 100 Millisekunden, wie The Decoder berichtete. Zur selben Veröffentlichung gehörte MAI-Voice-2.1, das 23 Sprachen in einer Stimme spricht. Dazu kam eine Flash-Variante mit 150 Millisekunden Latenz und 15 Dollar pro Million Zeichen, vorher 22 Dollar.
Entscheidungsmodelle sind die andere Flanke. AWS veröffentlichte Strands Decider 2B, ein Open-Source-Modell, das kalibrierte Entscheidungen statt Text liefert. Es baut auf dem Rumpf von Qwen3.5-2B auf, wie TechCrunch am 1. Oktober berichtete. Der Distinguished Engineer von Amazon, Marc Brooker, sagte TechCrunch, diese Modellklasse sei "ein perfekter Entscheider für einen Workflow-Schritt". TypeSafe benannte sein Jev-Modell nach dem Ökonomen William Stanley Jevons. Das Unternehmen arbeitet an künftigen Versionen. CEO Diogo Almeida sagte TechCrunch, er sehe noch keine echte Konkurrenz aufkommen.
Die Hardware ist die Grenze. Apple liefert jetzt ein Foundation Model auf Macs mit M1-Chip oder neuer. Es ist vom Terminal aus mit dem Befehl fm erreichbar, sobald Apple Intelligence eingerichtet ist, wie t3n am 2. Oktober berichtete. Das Modell antwortet lokal und behält keinen Kontext zwischen Eingaben.
Die Forschung prüft, wo diese Systeme brechen. Ein am 29. September eingereichtes Paper führt Wiederholungsschleifen in Agenten mit Diffusions-Sprachmodellen auf maskiertes Dekodieren zurück. Es schlägt eine trainingsfreie Rückwärtsbewertungsregel namens Reflect Reverse vor, laut dem arXiv-Abstract. Ein weiteres Paper, eingereicht am 1. Oktober, berichtet, dass sich Modell-Rankings je nach Agenten-Gerüst umkehren. Auf Terminal-Bench 4 liegt Claude in OpenHands 7,94 Punkte vor GPT, in PI aber 30,16 Punkte dahinter, über 66 untersuchte Konfigurationen hinweg, schreiben die Autoren.
Schach ist das neue billige Testfeld für Prompt-Optimierung, mit 1.118 Lichess-Aufgaben und Gesamtkosten der Studie von rund 800 Dollar, laut einem am 30. September eingereichten Paper. Das stärkste untersuchte Modell, Gemini 3.5 Flash, als Meta-Modell eingesetzt, löst nur etwa 55 Prozent der Aufgaben. An anderer Stelle senkte ein rangbasierter Speicher-Controller die Prompt-Tokens um 5,9 Prozent. Er verringerte den Vorhersagefehler im unteren Verteilungsende um 13,6 Prozent gegenüber einer Graph-Memory-Baseline auf Synthetic Graph World. Auf LongMemEval kappte er die Tokens um 24,48 Prozent bei gleicher Genauigkeit, so die Autoren.
Coop steht am äußersten Ende dieser Kurve: kein Rechenzentrum, keine Budgetlinie. Seine Rangliste wird über die Validierungsverlustkurve gegen Tokens angepasst, nicht gegen äußere Schritte. Das Repository merkt an, dass ein einzelner Validierungsverlust nichts aussagt, weil äußere Schritte ihn ebenso oft nach oben wie nach unten bewegen. Die Richtung ist eine Eigenschaft der Reihe. Ein Modell mit 2.000.000.000 Parametern wäre in dieser Größenordnung eine andere Klasse.
Quellen
8- 01Coop: A small language model pretrained by volunteersEN
- 02Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
- 03Amazon releases its own Jev clone as decision models flood the webEN
- 04Versteckter KI-Chatbot auf dem Mac: So greifst du auf Apples lokales Modell zuDE
- 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
- 06Finding the Right Fit: Model-Harness Interactions across Agent TasksEN
- 07Benchmarking Prompt Optimization of Large Language Models With ChessEN
- 08Heavy-Tailed Memory Traces in Long-Horizon Language AgentsEN
Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.
Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.
Kommentare
0- Noch keine Kommentare — seien Sie der Erste.