Zum Inhalt
WeltzeitEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portal über KI und Technologieereignisse · analysen · interviews · technischer hintergrund

Suche
LIVE
›

Ehrenamtliche trainieren ein Sprachmodell mit 145 Mio. Parametern, ohne Server und ohne Finanzierung

Ein Ehrenamtsprojekt namens Coop hat am 30. September sein Modell der zweiten Stufe live gestellt: ein Sprachmodell mit 145 Mio. Parametern, vortrainiert ausschließlich auf gespendeter Consumer-Hardware und kostenlosen Cloud-Tarifen.

KI & ModelleNachrichtLena BrandtVeröffentlicht: 1. Oktober 20263 Min. LesezeitQuellen 5
Ehrenamtliche trainieren ein Sprachmodell mit 145 Mio. Parametern, ohne Server und ohne Finanzierung

Das Repository liegt auf GitHub unter commonsense-ai/coop. Laut Projektbeschreibung läuft die gesamte Trainingsschleife ohne Server, ohne Daemon und ohne jede Finanzierung. Die Worker laden den aktuellen Checkpoint aus einem Hugging-Face-Modellrepo herunter, führen lokale AdamW-Schritte auf einem persönlichen Datenanteil aus und reichen einen Pseudo-Gradienten als Pull Request gegen ein öffentliches Hugging-Face-Dataset-Repo ein. Ein GitHub-Actions-Cronjob läuft alle fünf Minuten, sammelt ein, was eingegangen ist, macht einen äußeren Nesterov-Schritt und lädt einen neuen Checkpoint hoch.

Stufe 2 ist ein reiner Decoder-Transformer mit 12 Schichten, 14 Heads, d=896 und einem Kontext von 1.024 Tokens, trainiert auf FineWeb-Edu.

Stufe 1, ein Modell mit 15 Mio. Parametern, das sechs Tage lang auf TinyStories trainiert wurde, ging über sein Chinchilla-optimales Budget hinaus zu Ende; die Validierungs-Loss fiel dabei von 9,01 auf 2,8, wie das README des Projekts angibt.

Was die Ehrenamtlichen tatsächlich belegt haben

Das README benennt Fehlerfälle ungewöhnlich genau, und dort steckt der technische Detailreichtum. Eine Einreichung, die mit einem Aggregationstakt kollidierte, wurde einen Schritt später mit verringertem Staleness-Gewicht angenommen. Wiederholte Runden eines Nutzers flossen zu einer einzigen Stimme zusammen; das Projekt beschreibt das als Schutz gegen Token-Farming. Ein Befehl coop stop spülte eine halbfertige Runde aus, statt sie zu verwerfen. Der Eingang leert sich bei jedem Takt auf null, und mehrere Ehrenamtliche auf Apple Silicon und einfachen CPUs haben denselben äußeren Schritt trainiert und ihn zu einem Update gemittelt bekommen.

Mitwirkende brauchen keine Erlaubnis. Jedes kostenlose Hugging-Face-Konto mit Schreib-Token kann eine Einreichung öffnen, der Maintainer vergibt keinen Sonderzugang.

Gewichte und Optimizer-Zustand liegen ausschließlich auf Hugging Face im safetensors-Format, während Git Code, Konfiguration und ein Mitwirkendenverzeichnis auf einem eigenen Branch hält.

Das Projekt achtet auch darauf, was seine Zahlen bedeuten. Jeder Takt bewertet den neuen Checkpoint auf einem festen zurückgehaltenen Ausschnitt mit festem Seed, damit eine Änderung zwischen den Schritten das Modell widerspiegelt und nicht die Stichprobe. Die Rangliste legt eine Steigung über die Validierungs-Loss gegen Tokens, nicht gegen äußere Schritte, weil ein Schritt so viel Arbeit umfasst, wie in diesem Takt zufällig eingegangen ist. Das README hält fest, dass ein Rückgang bedeutet: die Steigung überschreitet zwei Standardfehler. Alles darunter wird auch so ausgewiesen.

Wo es im Vergleich zum übrigen Feld steht

Arbeit an kleinen Modellen ist ein dichtes Feld. TechCrunch meldete am 30. September, Google habe Gemini 4 Argon über sein Fairwind Program an eine ausgewählte Gruppe von Cyber-Partnern herausgegeben, ein Frontier-Modell und kein kleines. CNBC meldete am selben Tag, Argon werde intern bereits genutzt, um Speicher in Googles Rechenzentren zu optimieren. Der Kontrast ist der Punkt: Coops 145 Mio. Parameter liegen rund drei Größenordnungen unter einer Frontier-Veröffentlichung, und das Modell läuft auf Hardware, die die Ehrenamtlichen ohnehin besitzen.

Das Projekt ist nicht das einzige Unterfangen in dieser Richtung, doch die Akte stützt direkt nur die Angaben von Coop.

Was es zeigt, ist ein funktionierender Mechanismus für verteiltes Training ohne zentrales Infrastrukturbudget. Das README bezeichnet die Schleife als produktionserprobt statt entworfen und listet die konkreten Sonderfälle auf, die sie überstanden hat.

Coop liefert eine CLI, die sich über uv installieren lässt; der Befehl coop run latest lädt den aktuellen Checkpoint herunter und erzeugt aus einem Prompt Text.

Das Projekt empfiehlt, stattdessen das fertige Stufe-1-Modell auf TinyStories laufen zu lassen, und nennt es weit kohärenter als einen noch laufenden Durchgang.

Kommentare 0

Quellen

5
  1. 01Coop: A small language model pretrained by volunteersEN
  2. 02Google releases Gemini 4 Argon, called its most powerful model yetEN
  3. 03Google rolls out Gemini 4 Argon, its most advanced AI modelEN
  4. 04OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
  5. 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN

Alle Zahlen und Zitate in diesem Text stammen aus den unten genannten Quellen.

Die Materialien wurden vom Redaktionsteam mit Unterstützung von KI erstellt.

Lena Brandt

Lena Brandt

KI, Modelle und Technik

Lena Brandt schreibt für FLASH24 über Technik, KI und Modelle sowie Medien und Internet und stützt sich dabei auf Herstellerangaben, Studien und öffentlich zugängliche Datensätze, statt Pressemitteilungen ungeprüft zu übernehmen. Bei Modellvergleichen kontrolliert sie Benchmark-Werte, Trainingsdaten und Versionsnummern und rechnet Angaben zu Rechenleistung und Kosten selbst nach. Sie spricht mit Entwicklern und Forschern, wartet auf angekündigte Updates und vergleicht Releases, bevor sie eine Einschätzung abgibt. Privat beschäftigt sie sich mit 3D-Druck, alten Rechnern und der Frage, wie Modelle aus Internetmüll lernen – Themen, die regelmäßig in ihre Texte einfließen. Sie publiziert keine Zahlen, deren Quelle sie nicht selbst überprüfen konnte.

Redaktion →

Kommentare

0
  1. Noch keine Kommentare — seien Sie der Erste.

Kommentar schreiben

Kommentare sind öffentlich sichtbar. Wir veröffentlichen keine Beleidigungen, Werbung oder Spam.