Aller au contenu
Heure mondialeEU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

portail sur l'IA et la technologieactualités · analyses · entretiens · fond technique

Rechercher
EN DIRECT
›

Les plugins de mémoire ne règlent pas le contexte long des IA, selon un article et deux projets

Les outils d'agents IA traitent le problème de la fenêtre de contexte comme un problème de mémoire. Un proxy de compaction nommé Gobstopper revendique 29% de jetons d'entrée en moins par rapport à l'étape intégrée de Claude Code. Un article de septembre soutient que le vrai goulot d'étranglement est le matériel, pas le rappel.

IA & modèlesAnalyseCamille RousseauPublié le: 3 octobre 20264 min de lectureSources 8
Les plugins de mémoire ne règlent pas le contexte long des IA, selon un article et deux projets

L'argument de Gobstopper est étroit et chiffré. Le projet remplace la compaction intégrée à Claude Code et à Codex par un proxy local. Il compacte plus souvent et conserve l'historique complet dans une base de données interrogeable sur le disque. Sur Terminal-Bench 2.1, affirme le projet, cela a économisé 29% des jetons d'entrée, soit 84 300 000 contre 118 600 000.

Le nombre de tâches résolues n'a presque pas bougé. Gobstopper a résolu 61 tâches sur 89, Claude Code sans le proxy en a résolu 60. Le site reconnaît que l'écart de deux tâches tient au bruit d'un essai unique. Il indique aussi que 21 des 89 essais tail-0 ont pu tourner sur une version antérieure. Le titre est donc une facture de jetons, pas un saut de capacité.

La distinction compte pour quiconque paie au jeton l'exécution d'agents de code. Une baisse de 29% des jetons d'entrée, c'est 29% de moins sur cette partie de la facture. Elle compte aussi pour ceux qui pensaient que des fenêtres de contexte plus longues régleraient le problème. Ce n'est pas le cas. Un proxy doit toujours décider quoi jeter. La section des limites de Gobstopper le reconnaît : rien ne garantit qu'un fournisseur reprendra une session copiée, ni qu'un résumé a conservé chaque fait.

Le volet matériel du même problème a été examiné sérieusement dans un article de Tejinder Singh, de Dell Technologies, arXiv:2609.30854.

L'article est une systématisation des connaissances, pas un nouvel algorithme. Sa thèse centrale : le décodage est limité par la mémoire, pas par le calcul. À batch 1, les poids BF16 ont une intensité arithmétique de 1 FLOP/B, contre un point de crête de 295 FLOP/B pour le H100. Au-delà d'une certaine longueur de contexte calculable, le cache KV dépasse les poids comme ce que le GPU doit lire à chaque étape. Le seuil baisse de façon hyperbolique quand la taille de batch augmente. Llama-3-70B demande 327 680 octets par jeton en BF16, indique l'article. Une seule séquence de 128 000 jetons ajoute donc 42 Go aux 140 Go de poids, et une séquence d'un million de jetons en réclame 328 Go. C'est plus que ce que quatre H100 contiennent au total.

Cinq familles de solutions, trois régimes

L'article regroupe les contournements dans un seul modèle d'empreinte : quantification, éviction de jetons, pagination, mise en cache de préfixes et hiérarchisation. Il en déduit des longueurs de bascule et des plafonds d'accélération sur des cartes roofline pour le H100, le B200 et le MI300X. Son point : les résultats mesurés sous différentes politiques de batch et différentes dispositions de cache n'ont jamais été comparables. La même quantification en 2 bits donne 1,25x à batch 1 et 4,82x à batch 32. Comme l'écrit l'auteur, l'algorithme n'a pas changé, le régime si.

Les ajustements d'architecture réduisent la constante, pas la courbe. Passer de l'attention multi-têtes à l'attention à requêtes groupées ou à l'attention latente multi-têtes divise le coût par jeton par un facteur allant jusqu'à 12x. Le MLA de DeepSeek-V2 est le plus bas, à 0,07 Mo par jeton. Mais chaque variante croît encore linéairement avec la longueur du contexte.

Si ce cadre est juste, la question pratique pour les acheteurs n'est pas de savoir qui a la plus grande fenêtre. C'est de savoir quelle couche absorbe le gaspillage. Les fournisseurs peuvent facturer les jetons, la bande passante mémoire ou une éviction habile. L'article suggère que les cinq familles de techniques font varier des facteurs largement orthogonaux, si bien qu'une pile peut les combiner.

Le magasin n'est pas auditable.

C'est à peu près l'argument que Kevin Liao a défendu le 3 octobre contre la catégorie des plugins de mémoire. Sa cible : la base de données vectorielle qui ingère les conversations passées. Elle injecte ensuite les cinq extraits les plus similaires dans chaque prompt. La similarité, écrit-il, ne dit rien sur l'extrait correct, à jour ou manquant, et le code change tous les jours.

L'alternative de Liao, c'est la documentation : des fichiers qu'une personne écrit et qu'un agent lit, plutôt qu'un rappel sur des transcriptions. C'est une tribune sans benchmark derrière, et elle concurrence des vendeurs qui défendent l'inverse. Mais elle rejoint la même remarque pratique que l'article et le proxy. La ressource rare, c'est le contexte curé, et chaque couche entre le modèle et la vérité coûte des jetons ou de la bande passante.

Aucun des trois ne tranche ce qu'une longue session devrait garder.

Les 29% de Gobstopper viennent d'un seul modèle, GLM 5.3 Flash. Il a utilisé un seuil de 45 000 jetons plutôt que les 128 000 par défaut, sur 89 tâches et un essai par bras. Les points de bascule de l'article sont dérivés, pas mesurés sur chaque charge de travail. Le débat sur l'endroit où vit le contexte porte désormais sur l'arithmétique, et l'arithmétique n'est pas tranchée.

Commentaires 0

Sources

8
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02The KV Cache Is the New Memory WallEN
  3. 03Agents Don't Need Memory. They Need Documentation.EN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07warply: Unofficial one-click Cloudflare WARP applicationEN
  8. 08Windows on Itanium also provided for hot-patchingEN

Tous les chiffres et citations de ce texte proviennent des sources citées ci-dessous.

Les contenus ont été préparés par l'équipe de rédaction, assistée par l'IA.

Camille Rousseau

Camille Rousseau

IA, modèles et technologies

Camille Rousseau suit les technologies, l’IA et les modèles ainsi que les médias et l’internet pour FLASH24, en partant des dépôts de modèles, des publications techniques et des données publiques, sans reprendre les annonces sans vérification. Elle contrôle les chiffres d’entraînement et de coût en remontant aux jeux de données, aux versions de modèles et aux méthodes de mesure. Elle interroge des chercheurs et des équipes produit, compare les résultats entre modèles et attend les mises à jour de calendrier des principaux fournisseurs. Son intérêt pour l’impression 3D, les vieux ordinateurs et la façon dont les modèles apprennent rejoint directement son travail sur l’IA et les technologies. Elle ne publie pas de chiffres sans source ni de comparaison sans protocole reproductible.

Rédaction →

Commentaires

0
  1. Aucun commentaire — soyez le premier.

Écrire un commentaire

Les commentaires sont publics. Nous ne publions ni insultes, ni spam, ni publicité.