OpenAI罕见发论文:揭示AI幻觉根源

2025年9月8日
news

(图片来自网络)

近日,OpenAI罕见发表论文,系统性地揭示了人工智能(AI)幻觉的根源。所谓“AI幻觉”,是指语言模型生成看似合理却错误的陈述,阻碍了人们对AI的完全信任。这篇论文标题为《Why Language Models Hallucinate》,为AI领域解决这一核心挑战提供了关键见解。


OpenAI对“幻觉”给出简单定义:“模型自信地生成不真实答案的情况”。针对其原因,论文指出:标准的训练和评估程序更倾向于对猜测进行奖励,而非在模型承认自身不确定时给予正向反馈——这如同考试规则,随意猜测可能蒙对却无奖励,而承认“不知道”却得零分,导致模型为“得分”选择猜测,进而产生幻觉。


论文通过实例说明问题:当询问不同AI聊天机器人论文作者的博士论文标题时,它们会自信给出错误答案(如给出三个不正确的标题);询问作者生日时,也会给出错误日期。OpenAI表示,幻觉持续存在部分原因是当前评估方法设置错误激励机制。若仅以“准确度(完全答对问题百分比)”为评分标准,模型会被鼓励猜测而非承认未知——例如,当被问及某人生日时,模型猜测正确概率低(1/365),但承认“不知道”则必定得零分,长期测试下猜测型模型表现更优。


为解决这一问题,OpenAI提出更新评估指标:加大对“自信错误”的惩罚力度,并对恰当表达不确定性的行为给予部分加分。类似标准化测试对错误答案负面评分、对留空问题给予部分加分的方法,可阻止模型盲目猜测。论文强调,仅增加不确定性测试不够,需广泛更新评估体系,以奖励谦逊和不确定性表达,扩大降低幻觉技术的采用范围。


进一步分析幻觉产生的根源,论文指出语言模型在“下一个词预测”时,因数据中存在“任意的低频事实”(如宠物生日),难以预测,导致幻觉。就像用生日标记宠物照片无法准确分类,模型预测低频事实时会“编造”。尽管大模型在预训练后能提升能力,但幻觉仍未完全消除,因其始终面临“预测低频事实”的挑战。


论文总结强调:幻觉并非不可避免,小型模型也能通过“承认不确定”减少幻觉;且需重新设计评估指标以奖励不确定性表达,而非仅依赖准确度。OpenAI表示将延续努力,降低模型输出置信错误率。此外,OpenAI正重组负责模型行为的团队(Model Behavior团队),以更优化AI与人互动方式。

(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-09-08 14
    从机制到解决方案都有阐述,说明该问题有破解可能,科技发展很靠谱。
  • 网友9 2025-09-08 14
    OpenAI在技术突破上又迈出一步,解决AI幻觉会让AI应用更普及,很期待!
  • 网友8 2025-09-08 14
    幻觉问题反映AI认知局限性,需要更完善的训练和评估体系,这是一步重要进展。
  • 网友7 2025-09-08 14
    终于找到AI‘谎言’的根源了!以后和AI交流得注意,别被自信的错误答案误导。
  • 网友6 2025-09-08 14
    从统计机制角度分析幻觉,很专业,说明AI技术仍在完善过程中,值得期待。
  • 网友5 2025-09-08 14
    论文解释了AI幻觉的机制,评估方法应该调整,这样AI回答更可靠了。
  • 网友4 2025-09-08 14
    AI会错了?原来是为了猜答案才乱说的,那以后用AI得留点心,别被忽悠了。
  • 网友3 2025-09-08 14
    原来AI也是‘说胡话’?不过现在知道根源了,以后问问题得选‘AI懵了’选项才放心。
  • 网友2 2025-09-08 14
    科技发展要解决这些问题,AI更可靠了就能放心用了,支持创新!
  • 网友1 2025-09-08 14
    OpenAI这篇论文很关键,解决AI幻觉是信任基础,期待后续技术落地!
查看“OpenAI罕见发论文:揭示AI幻觉根源”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙