Des bénévoles entraînent un modèle de langage de 145 millions de paramètres sans serveur ni financement
Un projet bénévole nommé Coop a publié le 30 septembre son modèle de deuxième étape. C'est un modèle de langage de 145 millions de paramètres, préentraîné entièrement sur du matériel grand public donné et sur des offres cloud gratuites.

Le dépôt se trouve à l'adresse commonsense-ai/coop sur GitHub. Son README indique que toute la boucle d'entraînement tourne sans serveur, sans démon et sans le moindre financement. Les workers téléchargent le checkpoint courant depuis un dépôt de modèles Hugging Face. Ils exécutent des étapes AdamW locales sur une fraction de données personnelle, puis soumettent un pseudo-gradient sous forme de pull request contre un dépôt de jeux de données public Hugging Face. Une tâche cron GitHub Actions s'exécute toutes les cinq minutes. Elle agrège ce qui est arrivé, effectue une étape externe de Nesterov et téléverse un nouveau checkpoint.
L'étape 2 est un transformer décodeur seul de 12 couches, 14 têtes, d=896 et un contexte de 1 024 tokens, entraîné sur FineWeb-Edu.
L'étape 1 est un modèle de 15 millions de paramètres entraîné pendant six jours sur TinyStories. Il a terminé au-delà de son budget optimal Chinchilla, selon le README du projet lui-même. La perte de validation est passée de 9,01 à 2,8.
Ce que les bénévoles ont réellement démontré
Le README est inhabituellement précis sur les modes de défaillance, et c'est là que se trouve le détail d'ingénierie. Une soumission a couru contre un tick d'agrégation et a été acceptée une étape plus tard avec un poids de retard réduit. Les tours répétés d'un même utilisateur ont fusionné en un seul vote, ce que le projet décrit comme une protection contre le farming de tokens. Une commande coop stop a vidé un tour à moitié terminé au lieu de le jeter. La boîte de réception se vide à zéro à chaque tick. Plusieurs bénévoles sur Apple Silicon et sur de simples CPU ont entraîné la même étape externe, et les résultats ont été moyennés en une seule mise à jour.
Les contributeurs n'ont pas besoin d'autorisation. N'importe quel compte Hugging Face gratuit muni d'un token d'écriture peut ouvrir une soumission. Le mainteneur n'accorde aucun accès particulier.
Les poids et l'état de l'optimiseur ne vivent que sur Hugging Face, au format safetensors. Git contient le code, la configuration et un registre des contributeurs sur une branche dédiée.
Le projet reste aussi prudent sur ce que ses chiffres signifient. À chaque tick, il évalue le nouveau checkpoint sur une tranche de validation fixe avec une graine fixe. Une variation entre deux étapes reflète donc le modèle et non l'échantillonnage. Le classement ajuste une pente sur la perte de validation en fonction des tokens, pas des étapes externes, car une étape correspond à la quantité de travail qui s'est présentée ce tick-là. Le README précise que la baisse est réelle quand la pente dépasse deux erreurs standard. Tout ce qui est en dessous est rapporté comme tel.
Sa place face au reste du domaine
Le travail sur les petits modèles est encombré. TechCrunch a rapporté le 30 septembre que Google avait publié Gemini 4 Argon pour un groupe restreint de partenaires cyber via son Fairwind Program, un modèle de frontière et non un petit modèle. CNBC a rapporté le même jour qu'Argon sert déjà en interne à optimiser la mémoire dans les centres de données de Google. Le contraste est tout l'intérêt. Les 145 millions de paramètres de Coop se situent environ trois ordres de grandeur sous une sortie de frontière, et le modèle tourne sur du matériel que les bénévoles possèdent déjà.
Le projet n'est pas le seul effort dans cette direction. Les connaissances publiques n'étayent pas directement les affirmations de Coop au-delà de ce que le projet déclare.
Ce qu'il montre, c'est un mécanisme d'entraînement distribué qui fonctionne sans budget d'infrastructure central. Le README indique que la boucle a fait ses preuves en production plutôt qu'en théorie, et liste les cas limites précis qu'elle a surmontés.
Coop fournit une CLI installable via uv. Une commande coop run latest télécharge le checkpoint courant et génère du texte à partir d'un prompt.
Le projet recommande plutôt d'exécuter le modèle TinyStories de l'étape 1 terminé. Il qualifie ce modèle de bien plus cohérent qu'une exécution encore en cours.
Sources
5- 01Coop: A small language model pretrained by volunteersEN
- 02Google releases Gemini 4 Argon, called its most powerful model yetEN
- 03Google rolls out Gemini 4 Argon, its most advanced AI modelEN
- 04OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
- 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.