跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

新论文与两个代理工具认为,记忆插件并不是长上下文问题的正确解法

AI 代理工具把上下文窗口问题当成记忆问题来处理。一个名为 Gobstopper 的压缩代理声称,其输入 token 比 Claude Code 的内置步骤少 29%。一篇九月的论文则认为,真正的瓶颈在硬件,而不在召回。

人工智能与模型分析王雅琴发布: 2026年10月3日4 分钟阅读资料来源 8
新论文与两个代理工具认为,记忆插件并不是长上下文问题的正确解法

Gobstopper 的卖点很窄,而且全是数字。它用一个本地代理替换 Claude Code 和 Codex 内置的压缩机制。它压缩得更频繁,并把完整历史保存在磁盘上一个可检索的数据库里。该项目称,在 Terminal-Bench 2.1 上,这节省了 29% 的输入 token,即 8430万 对 11860万。

任务数量几乎没有变化。Gobstopper 在 89 个任务中解决了 61 个;不带该代理的 Claude Code 解决了 60 个。网站承认,两个任务的差距在单次试验的噪声范围内。它还表示,89 个 tail-0 试验中有 21 个可能运行的是更早的版本。所以头条数字是一笔 token 账单,而不是能力跃升。

对任何按 token 付费运行编码代理的人来说,这个区别很重要。输入 token 减少 29%,就是账单中这一部分减少 29%。对任何以为更长的上下文窗口能终结这个问题的人来说,它同样重要。并不能。代理仍然必须决定丢弃什么。根据 Gobstopper 自己列出的局限,它无法保证服务商会恢复被复制的会话,也无法保证摘要保留了每一个事实。

同一问题的硬件一侧,在 Dell Technologies 的 Tejinder Singh 的论文 arXiv:2609.30854 中得到了严谨的梳理。

这篇论文属于知识系统化,而非新算法。其核心主张是:解码受内存带宽限制,而非受算力限制。在 batch 1 下,BF16 权重的算术强度为 1 FLOP/B,而 H100 的拐点(ridge point)为 295 FLOP/B。超过某个可计算的上下文长度后,KV cache 会超过权重,成为 GPU 每一步都必须读取的对象。随着 batch size 上升,这个阈值呈双曲线下降。论文称,Llama-3-70B 在 BF16 下每个 token 需要 327680 字节。因此单条 128000 token 的序列会在 140 GB 权重之上再增加 42 GB,而一百万 token 的序列需要 328 GB。这超过了四块 H100 的总容量。

五类修复方案,三种运行区间

论文把这些变通做法归入一个占用模型:量化、token 淘汰、分页、前缀缓存和分层。随后它在 H100、B200 和 MI300X 的 roofline 图上推导出交叉长度和加速上限。它的要点是:在不同批处理策略和缓存布局下测得的结果,从来就不可比。同样的 2-bit 量化在 batch 1 下给出 1.25 倍,在 batch 32 下给出 4.82 倍。用作者的话说,算法没有变,运行区间变了。

架构调整缩小的是常数,而不是曲线。从多头注意力转向分组查询注意力或多头潜在注意力,可以把每 token 成本最多降低 12 倍。DeepSeek-V2 的 MLA 最低,为每 token 0.07 MB。但每一种变体仍然随上下文长度线性增长。

如果这个框架成立,那么对买家来说,实际问题不是谁拥有最大的窗口。而是哪一层吸收了浪费。厂商可以按 token 收费,按内存带宽收费,或按巧妙的淘汰策略收费。论文认为,这五类技术放大的因子在很大程度上彼此正交,因此一个技术栈可以把它们组合起来。

这个存储是不可审计的。

这大致就是 Kevin Liao 在 10 月 3 日针对记忆插件这一类工具提出的论点。他的目标是那个摄取过往对话的向量数据库。它随后把最相似的五个片段注入每一个 prompt。他写道,相似度并不能告诉你哪个片段是正确的、最新的或缺失的,而代码库每天都在变。

Liao 的替代方案是文档:由人编写、由代理读取的文件,而不是对对话记录做召回。这是一篇没有基准测试支撑的评论文章,而且它与卖相反东西的厂商形成竞争。但它和那篇论文、那个代理落在了同一个实际结论上。稀缺资源是经过整理的上下文,而模型与真相之间的每一层都要消耗 token 或带宽。

这三者都没有解决一个长会话应该保留什么。

Gobstopper 的 29% 来自一个模型,GLM 5.3 Flash。它使用 45000 token 的阈值,而不是默认的 128000,覆盖 89 个任务,每组一次试验。论文的交叉点是推导出来的,并没有在每个工作负载上实测。关于上下文该放在哪里的争论,如今是一场算术问题,而这道算术还没有定论。

评论 0

资料来源

8
  1. 01Gobstopper: context compaction proxy for Claude Code and CodexEN
  2. 02The KV Cache Is the New Memory WallEN
  3. 03Agents Don't Need Memory. They Need Documentation.EN
  4. 04Memory safety for Postgres extensions in C/C++EN
  5. 05Memory-Safe WebP DecodingEN
  6. 06An Update on Orion for Linux and WindowsEN
  7. 07warply: Unofficial one-click Cloudflare WARP applicationEN
  8. 08Windows on Itanium also provided for hot-patchingEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。