人大与腾讯团队用信息论解决大模型过度推理难题

2025年12月19日

（图片来自网络）

人大与腾讯团队结合信息论，揭示大模型过度推理的根源，并提出Adaptive Think机制，助力提升推理效率与准确性。

研究团队由中国人民大学、腾讯 Jarvis Lab等组成，聚焦大模型推理效率问题。当前大模型虽有强大推理能力，却存在“过度思考”现象，长推理链条可能降低准确率与效率。

研究从信息论角度出发，通过“熵与互信息”等底层信息指标，重新衡量模型思考的价值，最终提出Adaptive Think——让模型在“自信够了”时自动停止推理，用现有模型直接部署。

研究从技术、语义、实践三个维度分析大模型“过度思考”：

为量化模型“思考效率”，团队构建包含全局（InfoBias）与局部（InfoGain）的评价框架，发现错误答案常伴随更长推理链与更高偏差。

提出的Adaptive Think机制，让模型“自我监控式推理”：通过熵衡量推理过程中的不确定性，当模型置信度达到预设阈值时，主动终止推理并输出答案。该机制使模型能根据任务难度灵活调整推理深度——简单问题只需少量推理，复杂问题则深入推理，兼顾速度与可靠性。

实验在8个大模型、6个推理任务基准上验证，Adaptive Think在保持准确率的同时，大幅减少token消耗与计算成本。例如，在数学任务上，token使用量减少一半以上，且准确率提升；在常识任务中，token消耗减少超80%。这证明大模型无需过度推理就能回答正确。

未来大模型应“聪明”而非“过长”，动态匹配任务难度、实时自我评估并调整推理深度。Adaptive Think为推理大模型走向成熟提供了关键思路。