新论文与两个代理工具认为,记忆插件并不是长上下文问题的正确解法
AI 代理工具把上下文窗口问题当成记忆问题来处理。一个名为 Gobstopper 的压缩代理声称,其输入 token 比 Claude Code 的内置步骤少 29%。一篇九月的论文则认为,真正的瓶颈在硬件,而不在召回。

Gobstopper 的卖点很窄,而且全是数字。它用一个本地代理替换 Claude Code 和 Codex 内置的压缩机制。它压缩得更频繁,并把完整历史保存在磁盘上一个可检索的数据库里。该项目称,在 Terminal-Bench 2.1 上,这节省了 29% 的输入 token,即 8430万 对 11860万。
任务数量几乎没有变化。Gobstopper 在 89 个任务中解决了 61 个;不带该代理的 Claude Code 解决了 60 个。网站承认,两个任务的差距在单次试验的噪声范围内。它还表示,89 个 tail-0 试验中有 21 个可能运行的是更早的版本。所以头条数字是一笔 token 账单,而不是能力跃升。
对任何按 token 付费运行编码代理的人来说,这个区别很重要。输入 token 减少 29%,就是账单中这一部分减少 29%。对任何以为更长的上下文窗口能终结这个问题的人来说,它同样重要。并不能。代理仍然必须决定丢弃什么。根据 Gobstopper 自己列出的局限,它无法保证服务商会恢复被复制的会话,也无法保证摘要保留了每一个事实。
同一问题的硬件一侧,在 Dell Technologies 的 Tejinder Singh 的论文 arXiv:2609.30854 中得到了严谨的梳理。
这篇论文属于知识系统化,而非新算法。其核心主张是:解码受内存带宽限制,而非受算力限制。在 batch 1 下,BF16 权重的算术强度为 1 FLOP/B,而 H100 的拐点(ridge point)为 295 FLOP/B。超过某个可计算的上下文长度后,KV cache 会超过权重,成为 GPU 每一步都必须读取的对象。随着 batch size 上升,这个阈值呈双曲线下降。论文称,Llama-3-70B 在 BF16 下每个 token 需要 327680 字节。因此单条 128000 token 的序列会在 140 GB 权重之上再增加 42 GB,而一百万 token 的序列需要 328 GB。这超过了四块 H100 的总容量。
五类修复方案,三种运行区间
论文把这些变通做法归入一个占用模型:量化、token 淘汰、分页、前缀缓存和分层。随后它在 H100、B200 和 MI300X 的 roofline 图上推导出交叉长度和加速上限。它的要点是:在不同批处理策略和缓存布局下测得的结果,从来就不可比。同样的 2-bit 量化在 batch 1 下给出 1.25 倍,在 batch 32 下给出 4.82 倍。用作者的话说,算法没有变,运行区间变了。
架构调整缩小的是常数,而不是曲线。从多头注意力转向分组查询注意力或多头潜在注意力,可以把每 token 成本最多降低 12 倍。DeepSeek-V2 的 MLA 最低,为每 token 0.07 MB。但每一种变体仍然随上下文长度线性增长。
如果这个框架成立,那么对买家来说,实际问题不是谁拥有最大的窗口。而是哪一层吸收了浪费。厂商可以按 token 收费,按内存带宽收费,或按巧妙的淘汰策略收费。论文认为,这五类技术放大的因子在很大程度上彼此正交,因此一个技术栈可以把它们组合起来。
这个存储是不可审计的。
这大致就是 Kevin Liao 在 10 月 3 日针对记忆插件这一类工具提出的论点。他的目标是那个摄取过往对话的向量数据库。它随后把最相似的五个片段注入每一个 prompt。他写道,相似度并不能告诉你哪个片段是正确的、最新的或缺失的,而代码库每天都在变。
Liao 的替代方案是文档:由人编写、由代理读取的文件,而不是对对话记录做召回。这是一篇没有基准测试支撑的评论文章,而且它与卖相反东西的厂商形成竞争。但它和那篇论文、那个代理落在了同一个实际结论上。稀缺资源是经过整理的上下文,而模型与真相之间的每一层都要消耗 token 或带宽。
这三者都没有解决一个长会话应该保留什么。
Gobstopper 的 29% 来自一个模型,GLM 5.3 Flash。它使用 45000 token 的阈值,而不是默认的 128000,覆盖 89 个任务,每组一次试验。论文的交叉点是推导出来的,并没有在每个工作负载上实测。关于上下文该放在哪里的争论,如今是一场算术问题,而这道算术还没有定论。
资料来源
8- 01Gobstopper: context compaction proxy for Claude Code and CodexEN
- 02The KV Cache Is the New Memory WallEN
- 03Agents Don't Need Memory. They Need Documentation.EN
- 04Memory safety for Postgres extensions in C/C++EN
- 05Memory-Safe WebP DecodingEN
- 06An Update on Orion for Linux and WindowsEN
- 07warply: Unofficial one-click Cloudflare WARP applicationEN
- 08Windows on Itanium also provided for hot-patchingEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。