Coop : un modèle de 145M entraîné par des bénévoles, et la vague des petits modèles autour
Un modèle de langage de 145 millions de paramètres se pré-entraîne désormais de zéro sur du matériel grand public donné. Le projet n'utilise ni serveurs ni financement, selon son dépôt GitHub mis à jour le 30 septembre.

Le projet s'appelle Coop. Son dépôt décrit une boucle d'entraînement qui tourne entièrement sur des machines de bénévoles. Elle s'appuie aussi sur les offres gratuites de Hugging Face et de GitHub Actions.
L'étape 2 est en cours : un modèle d'environ 145 000 000 de paramètres se pré-entraîne sur FineWeb-Edu. L'étape 1, une passe de 15 000 000 de paramètres sur TinyStories, s'est terminée au-delà de son budget de tokens optimal selon Chinchilla. Les bénévoles téléchargent un checkpoint et exécutent des pas AdamW en local sur une fraction personnelle des données. Ils soumettent ensuite un pseudo-gradient sous forme de pull request sur un dépôt public de jeux de données Hugging Face. Une tâche cron GitHub Actions s'exécute toutes les cinq minutes. Elle lit les pull requests ouvertes et écarte les plus anciennes. Elle écrête et filtre les autres, puis les agrège par moyenne tronquée ou médiane géométrique. Elle effectue un pas de Nesterov et téléverse un nouveau checkpoint. Le dépôt précise que l'ordonnanceur partagé de GitHub déclenche en réalité la tâche à quelques minutes ou quelques heures d'intervalle. Le protocole tolère n'importe quelle cadence.
Le projet affirme que sa boucle a fait ses preuves en production, et qu'elle n'a pas été conçue sur le papier. Plusieurs bénévoles, sur Apple Silicon et sur un simple processeur, ont entraîné la même étape externe. Cette étape a été moyennée en une seule mise à jour. Une soumission arrivée en course avec un tick a été acceptée une étape plus tard, avec un poids de retard réduit. Les tours répétés d'un même utilisateur ont fusionné en une seule voix. Un tour à moitié terminé a été vidé plutôt que jeté.
Cela compte parce que le bas du marché se remplit. Le 2 octobre, Microsoft AI a publié MAI-Transcribe-2-Streaming, un modèle de transcription en temps réel couvrant 60 langues. Il renvoie ses premiers résultats partiels en un peu plus de 100 millisecondes, rapporte The Decoder. La même publication inclut MAI-Voice-2.1, qui parle 23 langues d'une seule voix. Elle inclut aussi une variante Flash à 150 millisecondes de latence et 15 dollars par million de caractères, contre 22 auparavant.
Les modèles de décision occupent l'autre flanc. AWS a publié Strands Decider 2B, un modèle open source qui renvoie des choix calibrés au lieu de texte. Il repose sur le torse de Qwen3.5-2B, rapporte TechCrunch le 1er octobre. Marc Brooker, ingénieur distingué chez Amazon, a déclaré à TechCrunch que cette classe de modèles fait « un décideur parfait pour une étape de workflow ». TypeSafe a nommé son modèle Jev d'après l'économiste William Stanley Jevons. La société travaille sur de futures versions. Son PDG Diogo Almeida a déclaré à TechCrunch qu'il ne voyait pas encore de vraie concurrence émerger.
Le matériel reste la contrainte. Apple livre désormais un Foundation Model sur les Mac équipés d'une puce M1 ou plus récente. On l'atteint depuis le terminal avec la commande fm une fois Apple Intelligence configuré, rapporte t3n le 2 octobre. Le modèle répond en local et ne conserve pas le contexte d'un prompt à l'autre.
La recherche cherche où ces systèmes cassent. Un article soumis le 29 septembre rattache les boucles de réessai des agents à base de modèles de diffusion à langage au décodage masqué. Il propose une règle de score inverse sans entraînement appelée Reflect Reverse, selon le résumé arXiv. Un autre article, soumis le 1er octobre, rapporte que les classements de modèles s'inversent selon le harnais d'agent. Sur Terminal-Bench 4, Claude devance GPT de 7,94 points dans OpenHands mais recule de 30,16 points dans PI, sur 66 configurations évaluées, écrivent les auteurs.
Les échecs constituent le nouveau banc d'essai bon marché pour l'optimisation de prompts, avec 1 118 puzzles Lichess et un coût total d'environ 800 dollars, selon un article soumis le 30 septembre. Le modèle évalué le plus fort, Gemini 3.5 Flash, utilisé comme méta-modèle, ne résout qu'environ 55 % des puzzles. Ailleurs, un contrôleur de mémoire fondé sur un classement a réduit les tokens de prompt de 5,9 %. Il a abaissé l'erreur de prédiction de la queue inférieure de 13,6 % face à une référence à mémoire graphe sur Synthetic Graph World. Il a aussi réduit les tokens de 24,48 % sur LongMemEval à précision égale, selon ses auteurs.
Coop se situe à l'extrême de cette courbe : pas de centre de données, pas de ligne budgétaire. Son classement est ajusté sur la perte de validation en fonction des tokens, et non des étapes externes. Le dépôt note qu'une perte de validation seule ne dit rien, car les étapes externes la font monter aussi souvent que descendre. La direction est une propriété de la série. À titre de repère, le torse Qwen3.5-2B compte 2 000 000 000 de paramètres.
Sources
8- 01Coop: A small language model pretrained by volunteersEN
- 02Microsoft AI releases new transcription and text-to-speech models for voice agentsEN
- 03Amazon releases its own Jev clone as decision models flood the webEN
- 04Versteckter KI-Chatbot auf dem Mac: So greifst du auf Apples lokales Modell zuDE
- 05Does This Action Still Explain the Task? Reverse Scoring for Diffusion Language Model AgentsEN
- 06Finding the Right Fit: Model-Harness Interactions across Agent TasksEN
- 07Benchmarking Prompt Optimization of Large Language Models With ChessEN
- 08Heavy-Tailed Memory Traces in Long-Horizon Language AgentsEN
Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.
Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.
Commentaires
0- Aucun commentaire — soyez le premier.