跳到正文
世界时间EU--:--UK--:--USA--:--CN--:--PLDEFRIT中文EN

关于人工智能与技术的门户事件 · 分析 · 访谈 · 技术背景

搜索
直播
›

AI 推理评测越来越难做,数字也越来越怪

一位研究员用本地决策模型跑了一遍新发布的 27489 条 CVE,发现其中 16.9% 从未写明安全影响。这个结果既说明漏洞报告本身的问题,也说明 AI 系统给文本打分的方式。

人工智能与模型分析林晓雯发布: 2026年10月4日7 分钟阅读资料来源 8
AI 推理评测越来越难做,数字也越来越怪

这次实验规模不大,带点个人色彩。Jerry Gamblin 是 CVE 计划质量、自动化与消费者工作组的成员。他在一台笔记本电脑上,用 Cloudflare 的 Clef 模型跑了 2026 年 8 月 4 日到 10 月 3 日之间发布的全部 CVE。结果在 10 月 4 日公布。

最显眼的发现是:在 Linux 内核之外,23736 条描述里有 989 条,也就是 4.2%,从没说清攻击者能做什么。把内核算进来,这个数字升到 27489 条中的 4650 条,即 16.9%。内核的规则本来就把影响留给用户判断。

为什么值得看:这就是自动化评测离开实验室之后的样子。一个 90 亿参数的模型,对每条记录回答两个固定格式的问题,用时不到一秒。按 Gamblin 的说明,它不需要 API key,也不产生账单。现在任何人都能在家里给一个语料库打分。还不清楚的是,这些分数在别人的环境里是否站得住。没有人在第二台机器或第二个语料库上测过这条流水线。

Gamblin 对这一点很谨慎。他用手工标注的 129 条 CVE 检验了两步流程。在他判定为未说明影响的 16 条里,流程抓出了 15 条。他标为正面的记录,没有一条被误判为负面。Clef 27B 重新读了一遍 Clef Flash 判为无影响的记录,推翻了 2187 条中的 1198 条,即 54.8%。他写道,单用 Flash 太严格。

为什么人人都在造评测基准

同一周,OpenAI 公布了一次协同提取其模型受保护推理过程的行动。公司称活动始于 7 月 1 日,在 7 月 24 日和 25 日达到高峰,4000 多名用户发出了 16000 次使用某种提取模式的请求。OpenAI 表示,到 7 月 28 日已经切断了涉及 15000 多名用户的相关集群。它把其中一个核心集群归因于与 Kimi 开发商月之暗面有关的人员。

这是安全事件,不是评测。但它显示的是同一种压力。模型能力一旦被测量,就成了目标。测量本身也成了攻击面。

OpenAI 称,操作者没有破解加密,也没有接触到已存储的对话。他们操纵的是模型交互,让隐藏的推理以可见形式复现出来。

评测基准成了这种能力的公开门面。过去几天里新出现的评测工作多得惊人。据当天流传的标题清单,谷歌在 11 月 3 日开放了一个 85 项任务的工程评测基准和智能体竞赛。OpenAI 同一天推出了针对日常任务的 LifeVal 基准。Artificial Analysis 在 10 月 29 日把指数升级到 v5,报告称智能体 AI 把专有模型的领先优势拉大到 12 分。

每一条都是关于机器推理能力的说法。没有一条能给出定论。基准只是一个样本,样本由被测量的公司或它的对手挑选。

被反复引用的那些数字

看看占据报道主流的推理分数。Startup Fortune 在 10 月 4 日报道,OpenAI 的 GPT-6 Astra 在它称为 AI 最难推理测试的项目上拿到 62.7%。报道还说,它的 ARC-AGI-3 分数超过此前最好成绩一倍多。NewsBytes 在 10 月 3 日报道,谷歌的 Gemini 3.1 Pro 在 ARC-AGI-2 上得分 77.1%。这是不同的测试,上限也不同,标题里很少说明这一点。

然后是价格和编程。Startup Fortune 在 10 月 3 日报道,Claude Opus 5.5 在编程基准和价格上都胜过 OpenAI 的 Astra。SitePoint 同一天发了一篇解释文章,讲 Claude Opus 5 的 FrontierCode 分数在中等算力档位下意味着什么。

把这两条放在一起,问题就很熟悉了。一个被调成少花算力的模型,得分和同一个模型全力运行时不一样。排行榜条目很少带上这个设置。

Artificial Analysis 的 v5 改版等于承认了同一件事。指数一改,历史分数就不再可比。公司称在新版本下,专有模型和开放智能体模型之间的差距扩大到 12 分。这是关于新版本的真实发现,未必是关于模型的发现。

“我们的结果表明,用信息论方法缓解模型坍缩是有效的,并为保持多智能体多样性提示了新途径。”

这句话出自 10 月 1 日提交到 arXiv 的一篇论文,按页面信息,作者是布里斯托大学的 Lewis Mitchell,只有一人。研究讲的是模型坍缩,不是排行榜,但属于同一个话题。Mitchell 在 Llama-3.1-8B 上做了六代 QLoRA 微调实验。他发现,用熵率估计来过滤训练文本,比不过滤多出 42% 的唯一三元组、30% 的词汇量,重复率低 19%。熵率直接从原始文本算出,完全不用模型。而基于对数概率的基线方法,也就是既有做法,在所有指标上都没有显著收益。

这对盯着评测数字的人来说不太好受。一个指标可以看起来很严谨,量的却是错的东西。Mitchell 的过滤器不需要模型来打分,正因如此它才能便宜地反复测试。大多数推理基准做不到这一点。

本地模型当裁判

Gamblin 的配置是这种转变最清楚的例子。Ollama 0.35.1 增加了一个决策端点,输入状态和一组固定格式的问题,返回选项、概率和分数,没有需要解析的文本。Clef 是从 Qwen 3.8 微调来的 270 亿参数模型,Clef Flash 是从 Qwen 3.5 微调来的 90 亿参数模型。两者都是 Apache 2.0 许可,权重放在 Hugging Face 上,都能从 Ollama 库本地运行。

Flash 的下载大约 10 GB。

这改变了谁能评测什么。安全团队可以在一台笔记本上过夜给几千条记录打分。单个研究员也能复现整个运行。难点在校准。Gamblin 需要用更大的模型去复核更小的模型,即便如此,他还是拿手工标注的 129 条做了验证。在这个量级上,几条标错就能挪动百分比。

他自己把局限说得很清楚。4.2% 不含内核。16.9% 含内核,而内核的记录不提影响,原因就是它自己的规则。两个数字都不是对 CVE 计划的判决。它们量的是撰写者在某一个字段上填写的稳定程度。

分数没有说出的部分

消费级 AI 产品在做同样的取舍。据 9to5Google 在 10 月 3 日报道的一份更新支持文档,谷歌将从 10 月 9 日起限制个人账户访问 Gemini 模型。免费用户只能用 Flash-Lite。每月 4.99 美元的 AI Plus 订阅用户失去 Pro,保留 Flash-Lite 和 Flash。每月 19.99 美元的 AI Pro 和 99.99 或 199.99 美元的 AI Ultra 保留三个模型。THE DECODER 在 10 月 4 日报道了同样的分层,并提到 AI Pro 用户还能用 Deep Think 选项。

把这条和评测标题放在一起看,规律就出来了。被打分的模型越来越多地待在付费墙后。用户在公开排行榜上比较 Gemini、ChatGPT 和 Claude,可能永远碰不到产生那个分数的配置。

TechCrunch 在 9 月 29 日报道的 OpenAI Dev Day 发布,朝同一方向又推了一步。公司称 ChatGPT 每周有 12 亿用户,它将在对话里推荐应用。已有 16 家首发伙伴接入 Sign in with ChatGPT。

这些都不让评测变得没用,只是让它变得片面。本周被引用最多的数字,一个推理测试上的 62.7%,另一个测试上的 77.1%,描述的是特定设置下的特定运行。16.9% 的 CVE 数字,描述的是一个研究员的笔记本、一个周末和一对开放模型。三个数字只要读了方法都是诚实的,只读数字都会被误导。

缺的是一个共同标准,要求在报分数的同时报设置。谷歌和 OpenAI 都没有说会在评测结果旁边公布算力档位和订阅层级。在有人这么做之前,比较还会继续漂移。

评论 0

资料来源

8
  1. 01Decision Models vs. CVE DataEN
  2. 02Gemini app limiting what models free and AI Plus users can accessEN
  3. 03Google's new Gemini tiers cut free users to its weakest model and lock $5/month subscribers out of ProEN
  4. 04Disrupting a coordinated model-distillation campaignEN
  5. 05No Model Required: Text Entropy Rate Filtering Mitigates Iterative Fine-Tuning CollapseEN
  6. 06OpenAI's latest features take direct aim at the app store modelEN
  7. 07Anthropic asks Claude users to share voice data for AI model trainingEN
  8. 08Ideogram 4.5: The most precise edit modelEN

本文所有数字与引语均来自下列来源,未添加来源之外的内容。

本内容由编辑部在人工智能辅助下制作完成。

林晓雯

林晓雯

人工智能、模型与技术

林晓雯负责FLASH24的人工智能、模型与技术方向,主要写科技、人工智能与模型、媒体与互联网三个领域。她习惯从论文预印本、开源代码库和厂商技术文档入手,先核对训练数据来源和评测口径,再决定是否落笔。遇到模型跑分,她会自己复现一遍小规模测试,并对照独立第三方榜单,确认数字没有注水。她常联系一线工程师和产品经理,也盯着各大会议截稿日,把不同版本的技术报告放在一起比。业余时间她玩3D打印、折腾老电脑,还关心模型从网络垃圾里学到的偏见问题,这让她对数据清洗格外敏感。她有一条原则:拿不到原始数据的性能宣称,不写。

编辑部 →

评论

0
  1. 还没有评论——来说两句吧。

写评论

评论公开展示。我们不发布辱骂、垃圾信息和广告内容。