开发者认为 AI 记忆插件补错了地方,新工具仍在涌现
开发者称,一个压缩 Claude Code 与 Codex 会话的代理工具,比内置压缩步骤少用 29% 的输入 token。它在 Terminal-Bench 2.1 的 89 项任务中解决了 61 项。
面向 Claude Code 和 Codex 的压缩代理 Gobstopper 在 9 月 27 日和 28 日公布了基准测试结果。带代理时,它在 89 项任务中解决了 61 项,不带代理时解决 60 项;输入 token 分别为 8430万 和 11860万。
该项目自己的网站写明,这次运行把阈值设为 45000 token,而不是默认的 128000,每组只跑一次,用的是 GLM 5.3 Flash。同一页面也承认,两项任务的差距落在单次运行的噪声范围内。页面还说,89 项 tail-0 试验中有 21 项可能跑的是更早的版本。这种坦白比加速本身更少见。
这类工具都建立在一个前提上:上下文窗口不是瓶颈,记忆才是。越来越多的从业者认为,业界过去两年一直在解决这个问题中错的那一半。于是一个带着免责说明的基准页面,现在比一篇发布稿更值得读。
记忆插件到底在做什么
Kevin Liao 在 10 月 3 日撰文,描述了智能体记忆插件的标准架构。对话被切成片段,片段存进向量数据库,每次提示时附上最相似的五个。如果智能体显得困惑,就给它一个搜索工具去挖更多内容。
Liao 列出了这种设计的五个失败之处。相似度搜索分不清哪个片段正确、哪个是当下有效的。片段丢掉了周围的上下文。代码库在变,过去却被当成事实。智能体无法搜索自己不知道自己缺的东西。而一个存了 1万 条嵌入的库根本无法审计。他的结论很直接:人们遇到事情会写下来,而不是重看三年前的会议录像,智能体也该这样工作。
解决办法绝不是给智能体一个搜索工具,让它去检索过去 1000万 token 的对话。
他写道:「整个记忆插件生态都在解决错误的问题。」这是一篇观点文章,不是测量。但它和更硬的证据放在一起:上下文处理是系统问题,不是检索问题。
同一场争论的硬件一面
戴尔科技的 Tejinder Singh 在论文 arXiv:260930854 中做了一次知识系统化梳理,论证长上下文解码受限于内存带宽,而不是算术能力。据 jaehun.me 在 10 月 3 日的摘要,论文推导出一个交叉点:每步 KV cache 的字节数超过模型权重的字节数。随着批大小上升,这个阈值按双曲线下降。
数字很具体。Llama-3-70B 在 BF16 下需要 140 GB 权重,超过 H100 上 80 GB 的 HBM。单条 128000 token 序列的 KV cache 再加 42 GB,到 700亿 token 时是 328 GB,超过四块 H100 的总容量。
论文还指出,同样是 2-bit 量化,批大小为 1 时收益是 1.25 倍,批大小为 32 时是 4.82 倍。变的是所处区间,不是算法。Gobstopper 省下的 29% token 和论文里的交叉曲线,是同一个故事在技术栈不同层上的两种讲法。
Postgres 与搞错记忆的代价
内存安全是这场争论更早、更字面的版本。ClickHouse 工程师 Philip Dubé 在 9 月 30 日谈到了把 C++ 引入 Postgres 扩展的经过。在 Postgres 里,内存通过 palloc 和 MemoryContext 区域分配,出错时靠 setjmp/longjmp 处理。C++ 析构函数撑不过这次跳转。一个没被捕获的异常可能迫使 postmaster 重启全部进程,以防共享内存已被破坏。
ClickHouse 为 pg_clickhouse 给出的办法是彻底去掉 C++,用一个新的 C 库替换 clickhouse-cpp。pg_re2 把 C++ 限制在一个包装文件里。pg_chdb 把 libchdb 挪进一个单独的辅助可执行文件。
同样的模式也出现在图像解码上。Halide 团队的 wpd 是一个手写 SIMD 的 Rust WebP 解码器,它是为应对 CVE-2023-4863 而做的。CISA 确认该漏洞已被在野利用,影响 Chrome、Firefox、Signal 和 Microsoft Teams。团队引用 Chromium 自己的数字:其高危安全漏洞中约 70% 来自内存安全问题。
更小的条目,同一个方向
这一周其他发布安静得多。Kagi 在 10 月 3 日表示,将停止 Orion 的 Linux 和 Windows 版本开发,并把两者开源。Linux 测试版在 2026 年 10 月 2 日之后不再收到 Kagi 更新,原定 2026 年底的 Windows 发布也取消了。
一位开发者发布了 Warply,这是一个非官方的 Windows 10 和 11 一键 Cloudflare WARP 客户端,用 Windows DPAPI 保存 WireGuard 密钥。微软的 Old New Thing 博客在 10 月 1 日发了一篇讲 Itanium 版 Windows 热补丁的文章。ReactOS 的分支 LiberNT 面向 ARM64 和 Windows 11,10 月 3 日无法访问,因为它的人机验证工作量证明挑战加载不出来。
这些都没有回答智能体到底需要记忆还是文档。但举证责任已经转移。现在任何要交付记忆层的人,都得证明它胜过一份维护良好的文件,而第一批像样的基准结果才刚刚出现。
资料来源
9- 01Gobstopper: context compaction proxy for Claude Code and CodexEN
- 02Agents don't need memory, they need documentationEN
- 03The KV Cache Is the New Memory WallEN
- 04Memory safety for Postgres extensions in C/C++EN
- 05Memory-Safe WebP DecodingEN
- 06An Update on Orion for Linux and WindowsEN
- 07Warply: unofficial one-button Cloudflare WARP app for WindowsEN
- 08Windows on Itanium also provided for hot-patchingEN
- 09LiberNT: fork of ReactOS focused on ARM64 and Windows 11EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。