Des bénévoles entraînent un modèle de langue de 145M de paramètres sans serveur ni financement

Le dépôt, hébergé sous commonsense-ai/coop sur GitHub, indique que toute la boucle d'entraînement tourne sans serveur, sans démon et sans le moindre financement. Les workers téléchargent le checkpoint courant depuis un dépôt de modèles Hugging Face, exécutent en local des pas AdamW sur un fragment de données personnel, puis soumettent un pseudo-gradient sous forme de pull request contre un dépôt de jeux de données public sur Hugging Face. Une tâche cron GitHub Actions, planifiée toutes les cinq minutes, agrège ce qui est arrivé, effectue un pas extérieur de Nesterov et met en ligne un nouveau checkpoint.

L'étape 2 est un transformer de type décodeur seul, avec 12 couches, 14 têtes, d=896 et un contexte de 1 024 tokens, entraîné sur FineWeb-Edu.

L'étape 1, un modèle de 15M de paramètres entraîné pendant six jours sur TinyStories, s'est achevée au-delà de son budget optimal selon Chinchilla : la perte de validation est passée de 9,01 à 2,8, selon le README du projet.

Ce que les bénévoles ont réellement démontré

Le README est inhabituellement précis sur les modes de défaillance, et c'est là que se trouve le détail d'ingénierie. Une soumission entrée en course avec un tick d'agrégation a été acceptée un pas plus tard, avec un poids d'obsolescence réduit. Les tours répétés d'un même utilisateur ont fusionné en une seule voix, ce que le projet présente comme une protection contre le farming de tokens. Une commande coop stop a vidé un tour à moitié terminé au lieu de le jeter. La boîte de réception se vide à zéro à chaque tick. Plusieurs bénévoles, sur Apple Silicon et sur de simples CPU, ont entraîné le même pas extérieur, qui a ensuite été moyenné en une seule mise à jour.

Les contributeurs n'ont pas besoin d'autorisation. N'importe quel compte Hugging Face gratuit muni d'un token d'écriture peut ouvrir une soumission, et le mainteneur n'accorde aucun accès particulier.

Les poids et l'état de l'optimiseur ne vivent que sur Hugging Face, au format safetensors, tandis que Git conserve le code, la configuration et un registre des contributeurs sur une branche dédiée.

Le projet est aussi prudent sur ce que ses chiffres signifient. À chaque tick, il évalue le nouveau checkpoint sur une tranche fixe mise de côté, avec une graine fixe : un changement entre deux pas reflète donc le modèle et non l'échantillonnage. Le classement ajuste une pente sur la perte de validation en fonction des tokens, pas des pas extérieurs, car un pas correspond à la quantité de travail qui s'est présentée ce tick-là. Le README précise que la descente est actée quand la pente dépasse deux erreurs standard ; en dessous, le résultat est annoncé comme tel.

Sa place face au reste du domaine

Le travail sur les petits modèles est encombré. TechCrunch a rapporté le 30 septembre que Google avait publié Gemini 4 Argon pour un groupe restreint de partenaires cyber via son Fairwind Program, un modèle de frontière plutôt qu'un petit modèle. CNBC a rapporté le même jour qu'Argon sert déjà en interne à optimiser la mémoire dans les centres de données de Google. Le contraste est tout l'intérêt : les 145M de paramètres de Coop sont environ trois ordres de grandeur sous une sortie de frontière, et le tout tourne sur du matériel que les bénévoles possèdent déjà.

Le projet n'est pas le seul effort dans cette direction, même si le dossier ne vient étayer directement que les affirmations de Coop.

Ce qu'il montre, c'est un mécanisme d'entraînement distribué qui fonctionne sans budget d'infrastructure central. Le README affirme que la boucle a fait ses preuves en production plutôt qu'elle n'a été conçue, et il énumère les cas limites précis auxquels elle a survécu.

Coop fournit une CLI installable via uv, et une commande coop run latest télécharge le checkpoint courant et génère du texte à partir d'un prompt.

Le projet recommande plutôt d'exécuter le modèle TinyStories de l'étape 1 terminé, qu'il juge bien plus cohérent qu'une exécution encore en cours.