Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les petits modèles passent en local : Aleph Alpha livre Kolibri, llama.cpp ajoute les modèles de décision

Aleph Alpha a publié Kolibri le 3 octobre, un modèle open weight anglais-allemand de 78 000 000 000 de paramètres au total et seulement 3 000 000 000 actifs, téléchargeable sous Apache 2.0. Le même jour, llama.cpp a ajouté la prise en charge des modèles de décision, qui répondent à une requête en une seule passe avant.

IA & modèlesAnalyseCamille RousseauPublié le: 3 octobre 20265 min de lectureSources 8
Les petits modèles passent en local : Aleph Alpha livre Kolibri, llama.cpp ajoute les modèles de décision

Aleph Alpha a publié Kolibri le 3 octobre, jour de la réunification allemande, et a placé la souveraineté au centre de l'annonce, pas la taille brute. L'entreprise le décrit comme un Transformer Mixture-of-Experts anglais-allemand de 78 000 000 000 de paramètres au total et 3 000 000 000 actifs, avec des longueurs de contexte allant jusqu'à 1 000 000 de tokens. Les poids complets sont sur Hugging Face sous Apache 2.0.

L'argument avancé est le coût de déploiement. Aleph Alpha affirme que le modèle se situe sur la frontière de Pareto entre qualité et coût de service, en anglais comme en allemand, et qu'il égale des modèles comptant jusqu'à quatre fois plus de paramètres actifs, en citant Nemotron 3 Super. Selon l'entreprise, les clients peuvent l'exécuter sur site sans envoyer leurs données internes à des services d'inférence tiers. Cela compte pour les acheteurs des secteurs régulés. L'administration publique, l'industrie et l'aérospatiale sont les marchés visés dans l'annonce. Aleph Alpha dit avoir spécialisé Kolibri pour l'allemand, le raisonnement, les mathématiques et les comportements agentiques. Ce qu'elle ne publie pas, c'est une évaluation indépendante. Les comparaisons citées viennent de ses propres évaluations internes, et aucun tiers n'a confirmé la revendication de Pareto.

Aucun laboratoire extérieur n'a encore vérifié quoi que ce soit.

llama.cpp transforme les modèles de décision en endpoint serveur

Le 3 octobre également, l'équipe ggml-org a publié un billet sur Hugging Face décrivant un nouvel endpoint /v1/systemone dans llama.cpp. On envoie un état (texte, JSON ou capture d'écran) et des questions typées, et le modèle renvoie une probabilité pour chaque option en une seule passe avant. Le billet indique que l'API suit le format System One introduit avec le modèle Jev de TypeSafe, si bien que les clients existants n'ont besoin que d'une nouvelle URL de base.

C'est la liste des modèles qui rend concret l'angle embarqué. Julia-1 répond en 3 ms sur une NVIDIA RTX PRO 6000. Laya met 5 ms. Kev-4B et lev sont des modèles de 4 000 000 000 de paramètres, à 12 ms et 36 ms. OpenJev compte 27 000 000 000 de paramètres et traite les images ; Clef compte 27 000 000 000 de paramètres et tourne sous Apache 2.0. Les vitesses sont des médianes pour une seule question sur cette carte, donc les chiffres sur un portable seront plus lents.

Les modèles de décision changent ce que fait un petit modèle. Au lieu de générer du texte, ils notent les options qu'on leur soumet : router une requête, modérer un contenu, vérifier qu'une étape d'agent a abouti, ou choisir l'action suivante. Aucun token de sortie n'est généré, d'où des latences en millisecondes plutôt qu'en secondes.

Le Decision Index de la communauté montre comment ils se comparent.

Le billet renvoie les lecteurs vers cet index pour comparer les modèles entre eux, et annonce d'autres modèles de décision à venir. L'endpoint gère trois types de questions : choice, score et noul, une question oui/non qui renvoie la probabilité de oui. Les entrées peuvent aussi contenir des images pour les modèles capables de vision comme OpenJev.

Les garde-fous rapetissent aussi

ZeroLeaks a publié Shield Small le 2 octobre, un classifieur de 118 000 000 de paramètres pour détecter les injections de prompt et les jailbreaks. Il tourne en local sur un CPU avec des poids ONNX int8 de 118 Mo, et l'inférence fonctionne hors ligne une fois le modèle téléchargé. La fiche du modèle recommande de l'appliquer au texte non fiable avant qu'un agent ne le lise : documents récupérés, résultats d'outils, pages web, messages et descriptions d'outils.

Les chiffres publiés s'accompagnent d'une réserve que les auteurs formulent eux-mêmes. Shield Small avec les règles v2 atteint 84,3 % de précision moyenne équilibrée par catégorie, 71,8 % de rappel sur les attaques et 7,2 % de faux positifs sur 35 jeux de données publics. La fiche précise que cette comparaison a servi au développement et ne constitue pas une évaluation sur des données inédites. Elle avertit aussi que le modèle peut manquer des attaques et signaler du texte inoffensif, en particulier les discussions de sécurité qui citent des attaques.

Une seconde limite mérite d'être lue avant tout déploiement. Les entrées de plus de 6 206 tokens sont tronquées, et le script d'exemple note 28 fenêtres depuis le début et quatre depuis la fin, en renvoyant coverage.truncated: true. Un résultat tronqué et non signalé ne doit pas être pris pour un feu vert sur tout le document, selon la fiche. Le score n'est pas non plus une probabilité calibrée qu'une attaque réussisse.

Le grand public est déjà servi

Underdog est la version la plus grand public de la tendance. L'entreprise vend un assistant personnel qui tourne sur un Mac à puce Apple silicon, avec une bêta Windows, et affirme que rien ne quitte la machine. Ses modèles sont Woof 4B et Underdog 27B. Le site assure qu'Underdog 27B dépasse Claude Opus 4.6 Max sur l'Artificial Analysis Intelligence Index, une affirmation qui vient du vendeur et cite un index tiers sans score publié.

Le volet sécurité est plus vérifiable. Underdog dit avoir passé les 20 exigences de l'évaluation App Defense Alliance menée par Leviathan Security Group. Il dit que Google l'a autorisé à lire Gmail et Calendar, et que Hacktron AI a terminé un test d'intrusion sur l'application Mac et le site. Jane Manchun Wong est citée comme ayant démonté l'application Mac, un audit en cours et non terminé.

Google, de son côté, resserre l'offre gratuite de Gemini. Une page d'aide mise à jour le 3 octobre indique que les changements commencent le 9 octobre pour les utilisateurs sans abonnement IA, quand Auto devient le mode par défaut et que la plupart des prompts partent vers Flash-Lite, le modèle le plus rapide. Si la sélection intelligente du modèle est désactivée, les conversations utilisent Flash-Lite pour tout. Les offres payantes ont des limites plus élevées : AI Plus à 2x le standard, AI Pro à 4x, AI Ultra à 5x ou 20x AI Pro.

Lus ensemble, les deux mouvements vont en sens opposé. Google pousse les utilisateurs gratuits vers son plus petit modèle cloud et les mesure en calcul toutes les cinq heures. Aleph Alpha et les contributeurs de llama.cpp mettent les poids entre les mains des utilisateurs. Ni l'un ni l'autre ne remplace l'autre : Kolibri demande un GPU et un opérateur, Flash-Lite ne demande qu'un navigateur.

Ce qui manque encore

L'évaluation indépendante est le point faible. La revendication de Pareto d'Aleph Alpha, celle d'Underdog sur l'index et les chiffres de précision de Shield reposent tous sur des jeux de test du vendeur ou choisis par lui. Le billet de llama.cpp donne des latences sur une seule carte de datacenter, ce qui dit peu de ce qui se passe sur un portable. Aucune de ces publications ne livre d'audit tiers neutre sur la qualité du haut du spectre des petits modèles.

Reste aussi la question de l'usage des petits modèles. Aleph Alpha positionne Kolibri pour le travail souverain dans les industries régulées, ZeroLeaks positionne Shield comme filtre devant un agent, et llama.cpp positionne les modèles de décision comme routeurs et vérificateurs. Aucun ne cherche à être un chatbot généraliste, et les benchmarks qui jugent un chatbot ne mesurent bien aucun de ces métiers.

Commentaires 0

Sources

8
  1. 01Kolibri Has Landed: A Sovereign Open-Weight ModelEN
  2. 02New in Llama.cpp: Decision ModelsEN
  3. 03Shield: A 118M model for detecting prompt injections and jailbreaksEN
  4. 04Underdog private personal on-device local AI for privacy and securityEN
  5. 05Changes to Gemini model access and limitsEN
  6. 06Anthropic's super bug-hunting model Mythos is hardcore good at math, as latest vuln under attack showsEN
  7. 07Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  8. 08A Beginner's Guide to Running AI Models LocallyEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.