加州大学河滨分校研究揭示大模型内部哪些特征决定置信度与准确性

9月23日，加州大学河滨分校计算机科学家带领的团队发表了一项研究。结果显示，模型自己报告的置信度并不能可靠地预测答案是否准确。这一发现动摇了该领域的一个基本假设：置信度高就对应正确率高。研究人员发现，这两种表现可能来自完全不同的内部机制。 第一作者、博士生Het Patel说：“这个领域的主要假设是，模型有把握时答案大概率是对的，模型没把握时答案大概率是错的。”这段话由加州大学河滨分校发布。“但我们经常看到反例，而且这些反例有充分记录。” 研究考察了两个开放权重模型：Meta的Llama-3.1-8B（80亿参数）和Google的Gemma-2-9B（90亿参数）。团队用多项选择题测试，按准确性和置信水平把回答分成四组。随后他们用稀疏自编码器分析模型的内部活动，找出在有把握、不确定、正确、错误这四种状态下分别被激活的特征。 错位是怎么产生的 分析找到了三类特征：主要与不确定性相关的特征、与错误答案相关的特征，以及同时关联两者的“混杂”特征。研究人员抑制那些只与不确定性相关的特征时，模型准确率明显下降。这说明与不确定性相关的特征其实参与了生成好答案，而不只是噪声或含糊其辞。 反过来，抑制只与错误答案相关的特征，效果完全不同。这种可分离性让针对性干预成为可能。Patel把这一过程比作拧动模型内部的“旋钮”，观察行为如何变化。目标是调整这些特征，让模型在答对时更有把握，在可能答错时更谨慎，而且不必付出重新训练整个网络的高昂代价。 这项工作属于一个更大的方向：让AI系统更值得信任。随着大语言模型越来越多地参与决策和完成任务，开发者需要更好的办法判断某个答案能否采信。加州大学河滨分校团队的研究指向一种方法，让AI系统调整内部的置信信号，使其与实际表现对齐。 近期基准与模型提供的背景 速度与准确性之间的取舍，在最近发布的模型上也能看到。Reflection AI于10月5日推出Beam，这是一个501参数的开放权重模型。据TechCrunch报道，公司称Beam在推理基准上的表现与领先的中国开放模型相当，而推理算力只用到后者的三分之一到四分之一。Beam并不是加州大学河滨分校研究所说的那种“决策模型”，但它反映出业界在可靠性至关重要的推理任务上对效率的追求。 类似地，GitHub于10月5日发布ReviewBench，这是一个面向AI代码审查的开放基准。该基准用来衡量智能体代码审查的质量，在这类任务中，编造或错误的代码建议会带来现实后果。ReviewBench分析了19种语言下的219个公开拉取请求，希望提供一套严格的评测方法，追踪审查系统的改动是否带来实际的生产收益。 这些进展说明AI开发者面临双重压力：既要提升原始能力，又要在工程上消除导致幻觉的不确定性。加州大学河滨分校的研究为后者提供了一份技术路线图，表明负责怀疑和准确性的内部特征可以分开，也可以修改。未来的模型因此有可能主动标出自己的疑虑，形成一层目前许多商用系统还缺的透明度。