Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Coûts d'inférence: les moteurs ouverts s'ajustent seuls, les fondeurs allègent le matériel

Un moteur d'inférence open source mis en ligne sur GitHub le 30 septembre affirme que les modèles ouverts y tournent jusqu'à deux fois plus vite que sur llama.cpp, grâce à une compilation et un réglage des noyaux sur la machine de l'utilisateur. De son côté, MaxLinear assure que sa nouvelle puce DOCSIS Puma 9 peut réduire de 30% à 50% le coût des équipements installés chez le client.

IA & modèlesAnalyseSophie LeclercPublié le: 1 octobre 20265 min de lectureSources 11
Coûts d'inférence: les moteurs ouverts s'ajustent seuls, les fondeurs allègent le matériel

Magnitude, société issue de la promotion S25 de Y Combinator, a publié son dépôt le 30 septembre sous licence Apache 2.0. L'application de bureau ajuste les noyaux sur Apple Silicon, NVIDIA, AMD ou de simples processeurs avant de lancer un modèle. MaxLinear a profité d'une présentation le 29 septembre pour affirmer que sa puce Puma 9 réduit de 30% à 50% le coût des modems et des passerelles par rapport à son prédécesseur, le Puma 8 lancé en 2023.

Les chiffres de Magnitude sont précis: le README annonce un décodage 92% plus rapide sur Metal et 19% sur CUDA face à llama.cpp, 27% de mémoire en moins par agent, libérée quand les agents s'arrêtent, et des caches de préfixe partagés entre sessions simultanées. Le moteur se connecte à Pi, OpenCode, Hermes, OpenClaw, Codex, Claude Code, Oh My Pi et Cline, le reste passant par une API compatible OpenAI. La société affirme que les prompts, les fichiers et les modèles restent sur la machine et qu'aucune connexion internet n'est nécessaire une fois le modèle téléchargé. C'est l'argument commercial. Sa validité sur votre matériel est une autre affaire: le benchmark est celui de l'éditeur, et le dépôt ne publie aucune réplication par un tiers.

L'affirmation de MaxLinear repose sur un tout autre réglage. Le Puma 9 prend en charge DOCSIS 4.0, DOCSIS 3.1+ et DOCSIS 3.1, ajoute le Wi-Fi 8 et passe pour la première fois à une architecture ARM dans la gamme Puma, que MaxLinear a reprise avec le rachat en 2020 de l'unité Home Gateway Platform d'Intel.

Une source industrielle proche du silicium a déclaré à Light Reading que ce passage à ARM aide à réduire la consommation électrique et une partie des coûts de licence. MaxLinear indique qu'il continuera de prendre en charge les produits x86 et que la plateforme logicielle RDK rend l'architecture du processeur en grande partie transparente pour les clients. Face aux pénuries de DDR4, le Puma 9 prend aussi en charge la DDR5. Puneet Sethi, vice-président senior et directeur général de l'unité infrastructures réseau et opérateurs de MaxLinear, a déclaré que la société pense que l'écosystème, les prix et l'approvisionnement de la DDR5 deviendront plus détendus que ne l'a été la tension observée sur la DDR4. Jeff Heynen, de Dell'Oro Group, a expliqué à Light Reading que la plupart des fabricants passeront à la DDR5 pour les unités Wi-Fi 8 les plus avancées, en raison de la mémoire embarquée supplémentaire que les applications et les diagnostics peuvent exiger.

MaxLinear affirme avoir plusieurs engagements pour le Puma 9, cite Askey, Fritz! GmbH et Gemtek parmi ses partenaires CPE, et bénéficie du soutien de l'opérateur australien NBN Co. Les modems et passerelles fondés sur cette puce sont attendus pour 2027.

La pression sur les coûts ne se limite pas aux modems. Dans la santé, Endpoints News s'est demandé le 1er octobre si l'IA augmentait les coûts au lieu de les réduire, en inscrivant la question dans une vague de financements: Parakeet Health a levé 10 000 000 de dollars pour automatiser la prise de contact avec les patients et Devoted Health a levé 1 200 000 000 de dollars, deux informations publiées le 1er octobre. CleanTechnica a rapporté le 29 septembre qu'une analyse de Transport & Environment situe le coût d'usage d'un véhicule électrique à moins de la moitié de celui d'un diesel au kilomètre, les conducteurs de diesel payant 32 euros de plus par plein qu'en début d'année, dont environ 16 euros de marge de raffinage supplémentaire. Le même média a rapporté le 28 septembre que des exploitants de centres de données se tournaient vers des générateurs portables alimentés au méthane, ainsi que le conflit plus ancien sur les gaz d'échappement diesel qui a suivi le classement en 2012 par l'Organisation mondiale de la santé des gaz d'échappement diesel comme cancérogènes.

Les fabricants de matériel cherchent eux aussi à retirer du coût des batteries. Electrek a rapporté le 29 septembre qu'Ultium Cells, la coentreprise de GM avec LG Energy Solution, produira en série des cellules prismatiques LMR à Spring Hill, dans le Tennessee, en annonçant une densité énergétique supérieure de 33% à celle du LFP pour un coût comparable. Kurt Kelty, vice-président de GM, a déclaré que l'ajout du LMR plaçait l'entreprise en position de dépasser les chimies les plus abordables actuelles. Les mises à niveau commencent plus tard cette année et doivent s'achever d'ici 2028, avec 500 emplois créés pour un effectif de 1 700; le premier véhicule équipé de batteries LMR est attendu en 2028.

Moins cher à l'usage, plus cher à construire

Le schéma qui traverse le dossier est celui-ci: l'inférence et l'exploitation coûtent moins cher, tandis que les actifs en dessous restent onéreux. Xpeng a ramené quatre gammes de produits à deux pour concentrer sa R&D et réduire ses coûts, rapporte 36Kr lundi via CnEVPost. Les chiffres derrière cette décision: les livraisons ont reculé de 10,49% à 243 111 véhicules sur les huit premiers mois de 2026, les dépenses de R&D ont augmenté de 32,1% sur un an pour atteindre 2 910 000 000 de yuans au deuxième trimestre, et la perte nette trimestrielle s'est creusée à 1 340 000 000 de yuans, contre 480 000 000 de yuans un an plus tôt. Les opérateurs télécoms suivent la même voie. Light Reading a rapporté le 30 septembre que StarHub et M1 discutent d'une fusion à Singapour, où Singtel détenait selon les informations 43% du mobile en juin, M1 22%, StarHub 21% et Simba 14%. En Nouvelle-Zélande, 2degrees et OneNZ ont proposé de réunir leurs réseaux d'accès radio dans une entité détenue conjointement, la Commerce Commission devant statuer l'an prochain. L'accord 5G entre China Telecom et China Unicom, le plus important du genre, couvre 1 500 000 stations de base et revendique 56 000 000 000 de dollars d'économies d'investissement.

La recherche attaque aussi le versant logiciel. Un article soumis à arXiv le 29 septembre, Demographic Pluralism, rapporte une réduction de la distance de Jensen-Shannon de 8,4% à 26,4% par rapport à Modular Pluralism sur quatre architectures de base, sur GlobalOpinionQA et VITAL, sans données d'entraînement sur les distributions d'opinions ni ajustement spécifique à la tâche. Un second article accepté à NeurIPS 2026, FluxLite, rapporte des améliorations par rapport aux références standard de Monte Carlo séquentiel de Feynman-Kac allant jusqu'à deux ordres de grandeur en KL terminal sur un benchmark CTMC à états finis, et des réductions de l'erreur quadratique moyenne de corrélation entre lignes sur l'échantillonnage Ising 2D de 5 à 7 fois en moyenne géométrique et jusqu'à 55 fois au pic.

Microsoft Research a soutenu le 23 septembre que faire tourner l'inférence d'IA physique uniquement sur les GPU embarqués limite les performances des robots, leur autonomie et leur passage à l'échelle, et que le déport vers des GPU en périphérie ou dans le cloud améliore les taux de réussite des tâches et le temps de fonctionnement sur les charges de manipulation mobile. Le groupe a aussi présenté des outils fondés sur Kubernetes pour conteneuriser et orchestrer les charges robotiques entre robots, périphérie et cloud.

Une réserve traverse tout cela. Les chiffres de performance de Magnitude, d'Ultium Cells et de MaxLinear sont ceux des industriels eux-mêmes, et les gains d'efficacité des deux articles arXiv sont mesurés sur des benchmarks académiques, pas sur du trafic de production.

Commentaires 0

Sources

11
  1. 01Launch HN: Magnitude (YC S25) - Self-optimizing inference engine for agentsEN
  2. 02MaxLinear claims new 'Puma 9' DOCSIS chip is a big cost-cutterEN
  3. 03Is AI jacking up healthcare costs?EN
  4. 04Driving An EV Now Costs Half As Much As Diesel, New Analysis ShowsEN
  5. 05The Human Cost Of Data Center PollutionEN
  6. 06GM's new EV battery tech will cut costs without sacrificing rangeEN
  7. 07Xpeng reportedly consolidates product lines to cut R&D costsEN
  8. 08Singapore, New Zealand operators seek partnerships to cut costsEN
  9. 09Demographic Pluralism: Inference-Time Modeling of Pluralistic Human Preference DistributionsEN
  10. 10FluxLite: Inference-Time Proposal Control for Discrete Diffusion ModelsEN
  11. 11Offloaded inference for real-world physical AI roboticsEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Sophie Leclerc

Sophie Leclerc

IA, modèles et technologies

Sophie Leclerc couvre les technologies, l'IA et les modèles ainsi que les médias et l'internet pour FLASH24, en travaillant à partir des dépôts de code, des articles scientifiques et des documents techniques plutôt que des annonces. Elle vérifie chaque chiffre en remontant aux jeux de données d'origine et en comparant les versions successives des modèles. Elle interroge régulièrement des ingénieurs et des chercheurs, et suit les calendriers de publication des principales conférences du secteur. Son intérêt personnel pour l'auto-hébergement et les réseaux domestiques nourrit directement sa couverture des infrastructures et des modèles ouverts. Elle ne publie pas de performance annoncée sans méthode de mesure vérifiable.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.