多模态大模子，到底有多"插嗫"？

浙江大学合股阿里巴巴、香港城市大学、密歇根大学的磋磨团队作念了一个很凯旋的试验：

把输入图像从明晰情景通盘加噪到接近不成鉴识，同期抓续监测模子的准确率与置信度。

限定是，准确率断崖式下落，但置信度简直不动。也即是说，图像还是看不清了，模子仍然会高置信度地给出谜底。

这类"盲目自信"，恰是多模态大模子在复杂视觉推理中产生幻觉和误判的蹙迫根源。针对这一问题，磋磨团队提议了CA-TTS（Confidence-Aware Test-Time Scaling）框架：先通过置信度运转的强化学习校准模子的自我评估智商，再把校准后的置信度升沉为推理阶段的资源分拨信号。

限定也很凯旋：在四个主流视觉推理基准上，CA-TTS 全面达到 SOTA，平均超过现存最优关节 8.8%。其中，在 Math-Vision 上，准确率从基线的 23.0% 进步到 42.4%。论文已被CVPR 2026经受。

达尔文早就说过：无知比学问更容易产生自信

这项责任的起点，其实是一个始终被漠视的问题：模子是否真实知说念我方"不知说念"？

磋磨团队将上述风光界说为"感知钝化"（Perceptual Bluntness）。也即是，模子对视觉信息质地的变化枯竭敏锐性，视觉左证还是赫然退化，但置信度仍看护在高位。放在东说念主类语境里，这很像一个东说念主在看不清题目的情况下，仍然尽头笃定地报出谜底。

为了在多模态场景下更褂讪地度量这种问题，磋磨团队莫得沿用文本模子里常见的 token 级校准边幅，而是将置信度界说为系数输出序列的平均负对数概率（NMLP），开发反应级别的置信度度量。基于这一度量，整套关节分红两个阶段：锻练阶段的置信度校准，以及推理阶段的置信度感知膨胀。

第一步：CDRL 让视觉感知与置信度重新对王人

锻练阶段的中枢模块是 CDRL（Confidence-Driven Reinforcement Learning）。它的目的不是单纯进步答题准确率，而是让模子在"看得清"和"看不清"两种情况下，给出与视觉左证相匹配的置信度。

具体作念法是，让模子同期惩处归并问题的原始图像与加噪图像，并通过强化学习优化一个双重奖励机制：

1. 感知敏锐性奖励：荧惑模子在原始图像与噪声图像之间产生合理的置信度相反。相反越大，说明模子越能感知视觉退化。

2. 校准一致性奖励：当模子展望正确且置信度高时予以正向奖励；当模子展望失误但置信度仍高时施加刑事包袱。

这两个奖励共同不休模子学会两件事：一是对视觉退化保抓敏锐，二是对自身判断保抓安分。

在锻练数据上，磋磨团队从 6 个公开基准中筛选出 1936 个高质地样本，并使用 CLIP 谛视力求定位过错视觉区域，生成更具针对性的扰动，使噪声围聚施加在真确影响推理的局部区域。

从限定看，CDRL 的限定并不仅仅"置信度变低"这样浅陋，而是"置信度终于跟视觉左证对上了"。靠近噪声图像时，锻练后的模子置信度下降幅度是锻练前的 4.3 倍；靠近守秘条款时，这一比值达到 4.7 倍。

更值得谛视的是，锻练前模子在视角变换和马赛克侵犯下，置信度致使还会反朝高潮，而 CDRL 锻练后，通盘视觉扰动条款下的置信度都转为显贵下降，ECE 与 AUC 目的也同步改善。

第二步：CA-TTS 把校准后的置信度造成推理信号

有了更确切的置信度之后，磋磨团队进一步提议 CA-TTS，把"模子对我方有多确定"升沉为推理阶段的休养信号。它包含三个协同责任的模块，并由众人模子动态决定何时介入：

Self-Consistency：不再使用浅陋大量投票，而是接收置信度加权投票。模子生成多个候选谜底后，先由里面置信度进行团员，再引入众人模子行为外部校准器，对候选谜底进行二次评估。

Self-Reflection：当初步限定的置信度不实时，众人模子以 Critic 脚色生成品评想法，辅导基础模子重新推理，幸免它在原有失误旅途上反复自洽。

Self-Check：在视觉层靠近谜底作念进一步考据。通过对比解码，比拟原始图像与噪声图像下的输出概率分散；若是谜底如实依赖视觉左证，那么在噪声图像下其支撑度应当下降。

与常见的 Tree-of-Thoughts 不同，CA-TTS 的过错不仅仅"多想几步"，而是开发了一个多阶段考据闭环。前一阶段即使给出失误候选，后续模块仍有契机校阅它。论文中的"墙上缺了若干块砖"案例就体现了这极少：Tree-of-Thoughts 在最终单点评估上失手，而 CA-TTS 通过加权投票、反想和视觉自检三步纠偏，最终复原出正确谜底。

试验限定：四大基准全面率先

在四个主流视觉推理基准上，CA-TTS 的发挥如下。需要强调的是，这里的基座模子和谐为 Qwen2.5-VL-7B，因此进步主要来自关节自身，而不是底座相反。

几组数字尤其有代表性。Math-Vision 上，CA-TTS 从基线的 23.0% 凯旋进步到 42.4%，简直翻倍；MMMU 上达到 66.3%，相较基线进步 17.5 个百分点。这说明它带来的不是单点收益，而是在不同类型视觉推理任务上的一致性创新。

消融试验进一步揭示了 CDRL 与 CA-TTS 的单干干系：

单独使用 CDRL，进步 3.4 个百分点，说明置信度校准自身就有沉静价值；单独使用 CA-TTS，进步 15.0 个百分点，说明推理框架还是偶然显贵改善有想象质地；两者结合后总进步达到 19.4 个百分点，标明 CDRL 为 CA-TTS 提供了更可靠的战术基础，二者存在赫然协同效应。

磋磨团队还锻练了众人模子的依赖过程。即使让 Qwen2.5-VL-7B 自身充任"众人"，性能也仍比纯 Majority Voting 进取接近 5 个百分点（32.57% vs. 27.65%）。换句话说，强众人模子如实能进一步放大收益，但框架自身并不是靠"抱大腿"设置的。

Test-Time Scaling：斜率拉开，才是更过错的限定

若是说四个基准上的 SOTA 说明关节"更准"，那么 test-time scaling 弧线揭示的是它"为什么更值"。

在 Math-Vision 上，磋磨团队比拟了采样数目从 1 加多到 32 时，不同关节的准确率增长趋势。限定显现，CA-TTS 的膨胀斜率 β = 3.65，而 Majority Voting 为 1.64，DeepConf 为 1.19。也即是说，CA-TTS 的膨胀服从别离是后两者的 2.2 倍和 3.1 倍。

这意味着，一样是加多采样次数，CA-TTS 并不是"更平时地碰运说念"，而是更有用地把独特算力投向真确不确定的问题上。当 Majority Voting 和 DeepConf 在 35% 傍边缓缓趋于弥散时，CA-TTS 仍能赓续爬升，并最终打破 45%。

从这个角度看，置信度校准并不是一个附庸优化项，而是在重新界说 test-time scaling 的服从上限。它让"多算极少"这件事第一次变得更有标的感。

从"先推理后感知"到"先感知后推理"

这项责任最值得良善的场地，可能并不仅仅又一个更高的 benchmark 分数，而是它提议了一种新的问题划定。

以前，多模态推理磋磨默许的前提是：模子还是在充分欺诈视觉信息，接下来只需要把推明智商作念强。但这篇论文教导咱们，一个模子可能根底莫得真确"看懂"图像，却依然能给出高度自信的酬金。若这个前提莫得被修正，后续再复杂的推理链条，也可能开发在不成靠的感知基础上。

CA-TTS 的想路正值反过来：先通过 CDRL 开发对视觉左证变化敏锐、且与准确性一致的置信度，再让这种置信度去带领推理资源的分拨。这是一种明确的 Perceive-then-Reason 范式，也即是从"先推理后感知"转向"先感知后推理"。

虽然，这一标的也并非莫得代价。屡次采样与众人模子调用会带来独特推理老本，刻下试验也主要围聚在数学推理和通用 VQA 任务上。但若是目的是让多模态大模子在高风险场景中真确作念到"知说念我方什么本事不该太自信"，那么这条阶梯还是给出了一个很有劝服力的起先。

论文标题：

Linking Perception, Confidence and Accuracy in MLLMs

作家：

Yuetian Du*, Yucheng Wang*, Rongyu Zhang, Zhijie Xu, Boyu Yang, Ming Kong, Jie Liu#, Qiang Zhu#

单元：

浙江大学、阿里巴巴集团、香港城市大学、密歇根大学

发表：

CVPR 2026

花样结合：

https://github.com/anotherbricki/CA-TTS

作家简介：

本文第一作家为杜越天，浙江大学博士生，磋磨标的为多模态大模子的置信度校准与 test-time scaling，导师为朱强教师。本文在朱强教师和刘洁博士的带领下完成。

一键三连「点赞」「转发」「防范心」

迎接在批驳区留住你的想法！

—  完  —

咱们正在招聘别称眼疾手快、良善 AI 的学术裁剪实习生  � �

感酷爱的小伙伴迎接良善 � �  了解确定

� � 点亮星标 � �

科技前沿进展逐日见凯时体育游戏app平台