AI智能体的记忆有了预算:一篇关于重尾记忆轨迹的新论文
一篇新论文提出,长时程AI智能体应当按其记忆使用的形态来评判,而不只看任务是否成功和token成本。论文提出一个按排名分配上下文窗口的控制器,相关解读发表在10月4日的一篇博客文章中。
这篇博客文章于10月4日发表在Redreamality上,解读的是arXiv:2610.00010,题为《长时程语言智能体中的重尾记忆轨迹》,作者是埃默里大学的Xinyuan Song,以及东京大学和LocationMind的Zekun Cai。作者的主张很克制。上下文窗口一旦有限,记忆就不再是中性的记录,而变成一种资源分配机制。只盯着最终得分和账单的评估,看不出究竟是哪些条目在持续占用注意力。
这个视角之所以重要,是因为同一段时间发布的智能体工具,大多把记忆当作功能清单来卖。Aura是一个自托管的Go智能体,10月4日发布在GitHub上,主打图原生记忆,把事实、来源和有效期存在ArcadeDB里,还能沿时间路径返回支撑证据。同一天发布的Rust智能体Cosh,主打的是永不截断上下文。两个项目都没有声称解决了论文描述的分配问题,也没有被这样介绍。
论文测量了什么
根据Redreamality的解读,作者认为在上下文有限、检索反复发生的条件下,记忆会向一个小核心集中。罕见状态落入长尾,预测误差在那里不断累积。他们用词谨慎,称这些轨迹为重尾、与对数正态相容或与截断幂律相容,而没有断言系统处在临界点。他们提出的控制器CTWM(Core-Tail World Model)按排名分配提示预算。它用作者称为tau的单一指数来调节集中程度,并保留一份摘要化的尾部,而不是直接丢弃。文章称,代码发布在github.com/Hik289/world-model-self-organized-criticality。
测量假设更窄:如果一个智能体的世界模型天然围绕一个小核心和一条长尾集中,我们能否审计这种结构,并把它变成更好的记忆控制器?
文章说,这项工作在Synthetic Graph World、ALFWorld和LongMemEval上做了评估,并明确列出了论文没有主张的内容。这种谨慎值得一提,因为同一周冒出了一批读起来像突破的记忆类标题。9月24日的一条标题说,谷歌正在打造连谷歌自己都打不开的AI记忆。9月19日的一条标题说,DeepSeek把AI智能体的记忆成本降到了四分之一。那些只是标题,不是本文能够核实的发现。
底层的基础设施
记忆分配也是一个内核问题,这方面有新料。frn.sh上10月4日的一篇文章梳理了页表如何不再是可以忽略的零头:当许多地址空间映射同一批页时,页表的开销就显出来了。Shakeel Butt在2020年的补丁给memory.stat加了一项页表指标。Roman Gushchin当时反对,说页表大约只占已映射内存的1/512,在大多数cgroup里不到1%。文章的算术是这样:如果512个进程映射同一页,页表的开销就和数据页一样大,因为每个进程都需要自己那套8字节的PTE。
Erik Rigtorp关于虚拟内存延迟的指南于10月4日重新发布,从延迟一侧说明了同一件事。主缺页中断的开销大致相当于一次读或写系统调用。TLB未命中的开销高于TLB命中。对策是预缺页、用mlock或MAP_LOCKED与MAP_POPULATE锁定内存、关闭swap、使用大页,以及避免启动后再改动页表。这些都与语言模型无关,但做的是同一笔交易:一个有限、受管理的窗口,还是一个没有边界的窗口。
微软的Old New Thing博客在10月2日谈了一个更窄的问题:为什么Windows热补丁只支持某些架构。这提醒人们,平台层决定了任何智能体运行时在内存和中断方面能承诺什么。
更大技术栈里的背景
How-To Geek在10月3日发表了一篇文章,梳理了六个塑造了Windows和Linux的操作系统,从1969年麻省理工学院的Multics一直到Unix。文章指出,NTFS权限源自Multics的访问控制列表。它还提到,Windows把内核运行在x86四个硬件保护环中最内层的那一环。这是历史,但它解释了为什么内存保护是内核的职责,而不是应用程序的客气。
另外两个10月4日的项目离智能体的问题更近。一个叫SkyCraft的GitHub项目在《天际》里无头运行《我的世界》,靠一个《天际》的SKSE插件和一个《我的世界》的Fabric模组通过共享内存通信。作者称它尚处早期、属于实验性质,并提醒用户备份存档。10月4日发布的Windows延迟调优套件Recoil Optimizer宣传有117项可逆调整、0.500毫秒的内核定时器,并声称DPC延迟为18微秒,但没有独立验证。
贯穿其中的线索并不光鲜。无论这个窗口属于智能体、内核还是游戏,总得有人决定什么能拿到位置。CTWM论文的贡献,是让这个决定可以被审计,而不是顺带发生。
资料来源
10- 01CTWM: Heavy-Tailed Memory Traces in Long-Horizon AgentsEN
- 02Aura – a self-hosted AI agent with temporal graph memory, written in GoEN
- 03Cosh – a Rust agent that never truncates contextEN
- 04Page table memory consumptionEN
- 05Latency Implications of Virtual MemoryEN
- 06Why is there no Windows hot-patching support for other architectures?EN
- 07Six operating systems that inspired Windows and LinuxEN
- 08Running Minecraft headless inside Skyrim, synced over shared memoryEN
- 09Recoil Optimizer: Open-source zero-resident Windows latency tuning suiteEN
- 10A memory of Pangea (an early civic network, 1996-1999)EN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。