跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

新基准:AI在研究推理上仍落后人类专家

10月3日发布的新基准ScholarCatalyst显示,在寻找能激发新研究的科学论文时,代理式搜索工具并不比标准嵌入检索更强,最好的模型也只拿到0.51的Recall@20。

人工智能与模型新闻王雅琴发布: 2026年10月3日4 分钟阅读资料来源 15
新基准:AI在研究推理上仍落后人类专家

ScholarCatalyst于10月3日发布。它测试的是AI能否找到那些促成新科研项目的特定前期工作。研究问题往往很模糊,有用的论文又埋在庞大的档案里,要把两者连起来需要一次直觉上的跳跃。当前的大语言模型做不到这一点。

研究涉及207篇近期计算机科学论文的184位第一作者。这些研究者标注了哪些候选论文确实推进了他们已完成的项目,并为每个选择给出详细理由。团队想建一个能反映专家"研究品味"的数据集,而这种能力对当前的AI系统来说仍然难以企及。

检索与直觉之间的差距

模型的核心任务是从191000篇论文的语料库中找出这些催化论文,而且只能使用项目开始之前已有的文献。这样的设定把AI放到了和刚起步的人类研究者相同的处境里:不知道答案,却要在成千上万份无关文档中找到关键洞见。

结果并不乐观。代理式搜索让AI代理借助检索工具反复查找信息,它的表现没有超过简单的嵌入检索。代理式搜索的Recall@20得分为0.42,标准嵌入检索为0.48。代理式行为带来的额外复杂度,并没有帮模型找到正确的论文。

用基于Claude Fable 5.1构建的代理再试一次,也只带来小幅提升。这个模型在训练阶段可能接触过已完成的论文,Recall@20达到0.51。分数高于基线,但与人类专家仍有明显差距:专家能感觉到一个新问题需要哪一项前期想法。

"这些结果说明,需要新的训练方法,让模型具备在广泛语料中搜索的专家直觉,"作者在报告中写道。他们希望这类基准能推动科学代理的发展:代理接过一个尚未成形的想法,指出它所需的前期研究。当前的模型还无法胜任这一角色。

其他推理挑战依然存在

近期显示AI推理能力参差不齐的评估不止ScholarCatalyst一个。10月3日,Anthropic发布报告称,智谱AI的GLM-5.3模型具备"Mythos级"的黑客能力。据该报告,在名为Exploitbench的沙箱环境中,GLM-5.3在410次运行中有50次为Google Chrome开发出端到端漏洞利用。同一测试中,Anthropic尚未发布的Claude Mythos模型在410次尝试中成功利用56次。

不过,同一份报告指出,GLM-5.3的防护措施较弱。Anthropic表示,用欺骗性提示可以绕过该模型的护栏,成功率为64%;预填模型的思考token也能绕过,成功率为92%。一些模型在漏洞开发这类复杂的逐步任务上越来越强,其安全机制却可能跟不上。

另一项相关进展是,论文"PTXBench: Benchmarking and Adapting LLMs for GPU Kernel Optimization with Architecture-specific PTX"于9月28日修订。研究评估了大语言模型使用特定架构的PTX指令编写优化GPU内核的能力。作者发现,"在复杂的注意力反向工作负载上,成功率大幅下降,而且执行目标指令并不一定能转化为有竞争力的性能"。在所有测试中,没有一个受评估的模型能稳定匹敌前沿库。

人类洞察仍是黄金标准

特定技术领域有了这些进展,推理这一更宏观的问题仍未解决。数学家陶哲轩10月3日在博客"What's new"上发表客座文章,谈AI在数学中的作用。他指出,AI模型帮助修正了错误的引理,也提出过新方向,但他仍未成功通过提示让AI解决自己长期关注的问题之一。

"数学是人类的事业,机器生成的输出需要大量人工介入,才能真正进入我们的知识库,"文章写道。这与ScholarCatalyst的发现相呼应:AI可以协助执行与检索,但选择走哪条路的战略决定,往往需要人类的洞察。

随着AI模型不断演进,ScholarCatalyst和PTXBench这样的基准对衡量进展必不可少。它们为模型能做什么、不能做什么提供了具体指标,让讨论从营销说辞转向实证证据。就目前而言,数据表明,AI正在成为特定任务的强大工具,但还没有取代人类进行科学直觉判断的能力。

评论 0

资料来源

15
  1. 01ScholarCatalyst: A Benchmark for Retrieving Papers That Inspire New ResearchEN
  2. 02Anthropic claims popular Chinese AI model has Mythos-class hacking abilitiesEN
  3. 03PTXBench: Benchmarking and Adapting LLMs for GPU Kernel OptimizationEN
  4. 04What does the advent of powerful AI models mean for mathematicians like me?EN
  5. 05Anthropic's super bug-hunting model Mythos is hardcore good at mathEN
  6. 06The Download: a biological de-aging contest and why LLMs don't reasonEN
  7. 07OpenAI alerts 100+ orgs that its 'misaligned models' attempted to break inEN
  8. 08New in Llama.cpp: Decision ModelsEN
  9. 09Shield: A 118M model for detecting prompt injections and jailbreaksEN
  10. 10Kolibri: A Sovereign Open-Weight ModelEN
  11. 11Training an open decision model to replace a closed one, in shadow on prodEN
  12. 12Open 10-player CS:GO dataset for multiplayer world modelsEN
  13. 13Changes to Gemini model access and limitsEN
  14. 14A Beginner's Guide to Running AI Models LocallyEN
  15. 15Twelve AI clay films for $184: The agents cost more than the video modelEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

王雅琴

王雅琴

人工智能、模型与技术

王雅琴负责FLASH24的人工智能、模型与技术报道,覆盖科技、人工智能与模型、媒体与互联网领域。她习惯直接查阅技术文档、模型卡与官方博客,而非依赖新闻稿,对未经核实的参数和跑分数据一概不放行。每篇报道前,她会逐项核对基准测试结果,对照论文原文与开源代码,确认版本号、数据集和评测条件是否一致。她常联系开发者与研究人员求证细节,也盯着各大厂商的发布会和论文截稿日期,横向比较同类模型的实际表现。私下她自建服务、折腾家庭网络,这让她对部署成本和真实算力需求有直观判断。她的原则是:没有可复现来源的数字,不写进稿子。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。