Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Des bénévoles entraînent un modèle de langage de 145 millions de paramètres sans serveur ni financement

Un projet bénévole nommé Coop a publié le 30 septembre son modèle de deuxième étape. C'est un modèle de langage de 145 millions de paramètres, préentraîné entièrement sur du matériel grand public donné et sur des offres cloud gratuites.

IA & modèlesActualitéSophie LeclercPublié le: 1 octobre 20263 min de lectureSources 5
Des bénévoles entraînent un modèle de langage de 145 millions de paramètres sans serveur ni financement

Le dépôt se trouve à l'adresse commonsense-ai/coop sur GitHub. Son README indique que toute la boucle d'entraînement tourne sans serveur, sans démon et sans le moindre financement. Les workers téléchargent le checkpoint courant depuis un dépôt de modèles Hugging Face. Ils exécutent des étapes AdamW locales sur une fraction de données personnelle, puis soumettent un pseudo-gradient sous forme de pull request contre un dépôt de jeux de données public Hugging Face. Une tâche cron GitHub Actions s'exécute toutes les cinq minutes. Elle agrège ce qui est arrivé, effectue une étape externe de Nesterov et téléverse un nouveau checkpoint.

L'étape 2 est un transformer décodeur seul de 12 couches, 14 têtes, d=896 et un contexte de 1 024 tokens, entraîné sur FineWeb-Edu.

L'étape 1 est un modèle de 15 millions de paramètres entraîné pendant six jours sur TinyStories. Il a terminé au-delà de son budget optimal Chinchilla, selon le README du projet lui-même. La perte de validation est passée de 9,01 à 2,8.

Ce que les bénévoles ont réellement démontré

Le README est inhabituellement précis sur les modes de défaillance, et c'est là que se trouve le détail d'ingénierie. Une soumission a couru contre un tick d'agrégation et a été acceptée une étape plus tard avec un poids de retard réduit. Les tours répétés d'un même utilisateur ont fusionné en un seul vote, ce que le projet décrit comme une protection contre le farming de tokens. Une commande coop stop a vidé un tour à moitié terminé au lieu de le jeter. La boîte de réception se vide à zéro à chaque tick. Plusieurs bénévoles sur Apple Silicon et sur de simples CPU ont entraîné la même étape externe, et les résultats ont été moyennés en une seule mise à jour.

Les contributeurs n'ont pas besoin d'autorisation. N'importe quel compte Hugging Face gratuit muni d'un token d'écriture peut ouvrir une soumission. Le mainteneur n'accorde aucun accès particulier.

Les poids et l'état de l'optimiseur ne vivent que sur Hugging Face, au format safetensors. Git contient le code, la configuration et un registre des contributeurs sur une branche dédiée.

Le projet reste aussi prudent sur ce que ses chiffres signifient. À chaque tick, il évalue le nouveau checkpoint sur une tranche de validation fixe avec une graine fixe. Une variation entre deux étapes reflète donc le modèle et non l'échantillonnage. Le classement ajuste une pente sur la perte de validation en fonction des tokens, pas des étapes externes, car une étape correspond à la quantité de travail qui s'est présentée ce tick-là. Le README précise que la baisse est réelle quand la pente dépasse deux erreurs standard. Tout ce qui est en dessous est rapporté comme tel.

Sa place face au reste du domaine

Le travail sur les petits modèles est encombré. TechCrunch a rapporté le 30 septembre que Google avait publié Gemini 4 Argon pour un groupe restreint de partenaires cyber via son Fairwind Program, un modèle de frontière et non un petit modèle. CNBC a rapporté le même jour qu'Argon sert déjà en interne à optimiser la mémoire dans les centres de données de Google. Le contraste est tout l'intérêt. Les 145 millions de paramètres de Coop se situent environ trois ordres de grandeur sous une sortie de frontière, et le modèle tourne sur du matériel que les bénévoles possèdent déjà.

Le projet n'est pas le seul effort dans cette direction. Les connaissances publiques n'étayent pas directement les affirmations de Coop au-delà de ce que le projet déclare.

Ce qu'il montre, c'est un mécanisme d'entraînement distribué qui fonctionne sans budget d'infrastructure central. Le README indique que la boucle a fait ses preuves en production plutôt qu'en théorie, et liste les cas limites précis qu'elle a surmontés.

Coop fournit une CLI installable via uv. Une commande coop run latest télécharge le checkpoint courant et génère du texte à partir d'un prompt.

Le projet recommande plutôt d'exécuter le modèle TinyStories de l'étape 1 terminé. Il qualifie ce modèle de bien plus cohérent qu'une exécution encore en cours.

Commentaires 0

Sources

5
  1. 01Coop: A small language model pretrained by volunteersEN
  2. 02Google releases Gemini 4 Argon, called its most powerful model yetEN
  3. 03Google rolls out Gemini 4 Argon, its most advanced AI modelEN
  4. 04OpenAI and Synopsys team up to build an AI model that designs chips like a seasoned engineerEN
  5. 05OpenAI announces 'dots' agent after scrapping launch of new AI model over safety concernsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.