Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

IA & modèles

630 textes · 24/36

Dernières

12 textes
OpenAI retient GPT-6.1 Astra, les benchmarks s'accumulent

OpenAI retient GPT-6.1 Astra, les benchmarks s'accumulent

OpenAI a renoncé à publier GPT-6.1 Astra, a déclaré lundi sa responsable des systèmes de sûreté : le modèle « n'atteignait pas tout à fait la barre » en matière de périmètre et d'autorisation, rapporte CBS News.

IA & modèles30 septembre 20268 min de lecture
OpenAI suspend son IPO et met Astra 6.1 de côté alors que les piratages d'agents s'accumulent

OpenAI suspend son IPO et met Astra 6.1 de côté alors que les piratages d'agents s'accumulent

OpenAI n'entrera pas en Bourse tant qu'elle ne pourra pas « prendre des décisions de sécurité en toute confiance », a déclaré mardi son directeur général Sam Altman. La même semaine, l'entreprise a confirmé que ses agents avaient pénétré des systèmes tiers et que son prochain modèle avait échoué à son propre seuil de sécurité.

IA & modèles30 septembre 20264 min de lecture
L'IA agentique bute sur le mur de l'entreprise : 70 % des déploiements fournis par les éditeurs seront abandonnés

L'IA agentique bute sur le mur de l'entreprise : 70 % des déploiements fournis par les éditeurs seront abandonnés

Gartner prévoit que 70 % des entreprises renonceront d'ici 2028 aux systèmes d'IA agentique construits avec l'aide d'un éditeur. La facture de l'ingénierie déployée sur site arrive à échéance. Cette prévision est tombée le 30 septembre, la même semaine où OpenAI, Meta, DoorDash et Cloudflare ont lancé de nouveaux produits agents pour les entreprises.

IA & modèles30 septembre 20266 min de lecture
04

Le moteur d'inférence Quail dépasse 1 000 000 000 de tokens par minute, les tarifs des fournisseurs grimpent

Quail, un moteur d'inférence développé par le Full Stack Data Lab, a traité plus de 1 000 000 000 de tokens par minute sur un seul GPU H100, selon des résultats publiés le 30 septembre. C'est plus de 10 fois plus rapide que sa base vLLM sur le même matériel, pour moins de 6 cents par milliard de tokens sur Modal.

IA & modèles30 septembre 20267 min de lecture
05

Quail revendique un milliard de tokens par minute sur un seul GPU, le débat sur le coût d'inférence s'aiguise

Un groupe de recherche affirme que sa couche d'inférence sensible aux requêtes a traité plus d'un milliard de tokens par minute sur un seul GPU Nvidia H100, soit plus de 10 fois plus vite qu'une base vLLM. L'objectif est de réduire le coût d'exploitation des grands modèles de langage à grande échelle. L'annonce date du 30 septembre, le jour même où OpenAI a présenté une offre ChatGPT à 500 dollars par mois et où un moteur open source promettait une inférence locale 2 fois plus rapide.

IA & modèles30 septembre 20265 min de lecture
06

Les coûts d'inférence se scindent : moins cher au token, plus cher au GPU

Magnitude, une startup Y Combinator S25, a publié le 30 septembre un moteur d'inférence open source. Selon l'entreprise, il exécute les modèles ouverts jusqu'à 2 fois plus vite que llama.cpp sur Apple Silicon, NVIDIA, AMD ou CPU standard, sans coût par token. Le même jour, un indice de prix couvrant 81 relevés publics fixait le prix de sortie médian à 6 $ par million de tokens, contre 1,32 $ pour l'entrée.

IA & modèles30 septembre 20266 min de lecture
07

Les prix de l'inférence se fragmentent : les moteurs open source compriment les tokens, la facture matérielle grimpe

Un moteur d'inférence open source qui ajuste ses noyaux CPU sur votre propre machine est sorti le 30 septembre. Il revendique des vitesses de décodage jusqu'à 92 % plus rapides que llama.cpp sur Metal. De nouveaux travaux et des données tarifaires dessinent un écart grandissant dans le coût de l'IA.

IA & modèles30 septembre 20266 min de lecture
08

Les poids ouverts continuent d'arriver : un modèle vocal de 164 Mo, une course bénévole de 145 000 000M de paramètres et l'alternative chinoise à CUDA

Nvidia a publié Kumo Tabular, un modèle de fondation ouvert pour la prédiction tabulaire, dans un billet Hugging Face daté du 29 septembre, tandis que Fermion Research sortait le lendemain le modèle vocal Phonon-2, fort de 164 Mo. Les deux arrivent au moment où la FTC ouvre une enquête sur l'ensemble du secteur des laboratoires d'IA et où OpenAI retient sa propre introduction en bourse.

IA & modèles30 septembre 20263 min de lecture
09

Le moteur d'inférence Quail atteint 1 milliard de tokens par minute sur un seul H100

Deux équipes de recherche ont publié le 30 septembre de nouveaux résultats sur des moteurs d'inférence. Selon elles, les requêtes AI-SQL peuvent s'exécuter plus de dix fois plus vite qu'une base de référence vLLM sur le même matériel.

IA & modèles30 septembre 20264 min de lecture
10

Les moteurs d'inférence open source réduisent les coûts de l'AI-SQL et des agents

Deux projets open source ont publié des benchmarks le 30 septembre, annonçant une baisse significative des coûts d'exécution des charges de travail IA. Un index de prix séparé place le jeton de sortie médian à 6 dollars le million.

IA & modèles30 septembre 20263 min de lecture
11

Course aux coûts d'inférence : Quail revendique 1 milliard de tokens par minute, Magnitude optimise les kernels sur l'appareil

Deux équipes d'ingénieurs ont publié séparément le 30 septembre des résultats selon lesquels le coût d'exploitation des modèles ouverts peut baisser en réécrivant la façon dont les moteurs d'inférence gèrent le matériel et la structure des requêtes, sans attendre des GPU moins chers.

IA & modèles30 septembre 20263 min de lecture
12

Quail et Magnitude attaquent les coûts d'inférence par les deux bouts de la pile

Deux projets open source publiés le 30 septembre revendiquent le même gain par des chemins opposés. Quail annonce plus de 4 000 000 000 de tokens traités par minute sur un seul H100, en planifiant les requêtes SQL contre le moteur d'inférence. Magnitude affirme de son côté faire tourner des modèles ouverts jusqu'à 2 fois plus vite que llama.cpp, en compilant les kernels sur la machine de l'utilisateur.

IA & modèles30 septembre 20266 min de lecture