OpenAI罕见发论文:揭示AI幻觉根源

(图片来自网络)
近日,OpenAI罕见发表论文,系统性地揭示了人工智能(AI)幻觉的根源。所谓“AI幻觉”,是指语言模型生成看似合理却错误的陈述,阻碍了人们对AI的完全信任。这篇论文标题为《Why Language Models Hallucinate》,为AI领域解决这一核心挑战提供了关键见解。
OpenAI对“幻觉”给出简单定义:“模型自信地生成不真实答案的情况”。针对其原因,论文指出:标准的训练和评估程序更倾向于对猜测进行奖励,而非在模型承认自身不确定时给予正向反馈——这如同考试规则,随意猜测可能蒙对却无奖励,而承认“不知道”却得零分,导致模型为“得分”选择猜测,进而产生幻觉。
论文通过实例说明问题:当询问不同AI聊天机器人论文作者的博士论文标题时,它们会自信给出错误答案(如给出三个不正确的标题);询问作者生日时,也会给出错误日期。OpenAI表示,幻觉持续存在部分原因是当前评估方法设置错误激励机制。若仅以“准确度(完全答对问题百分比)”为评分标准,模型会被鼓励猜测而非承认未知——例如,当被问及某人生日时,模型猜测正确概率低(1/365),但承认“不知道”则必定得零分,长期测试下猜测型模型表现更优。
为解决这一问题,OpenAI提出更新评估指标:加大对“自信错误”的惩罚力度,并对恰当表达不确定性的行为给予部分加分。类似标准化测试对错误答案负面评分、对留空问题给予部分加分的方法,可阻止模型盲目猜测。论文强调,仅增加不确定性测试不够,需广泛更新评估体系,以奖励谦逊和不确定性表达,扩大降低幻觉技术的采用范围。
进一步分析幻觉产生的根源,论文指出语言模型在“下一个词预测”时,因数据中存在“任意的低频事实”(如宠物生日),难以预测,导致幻觉。就像用生日标记宠物照片无法准确分类,模型预测低频事实时会“编造”。尽管大模型在预训练后能提升能力,但幻觉仍未完全消除,因其始终面临“预测低频事实”的挑战。
论文总结强调:幻觉并非不可避免,小型模型也能通过“承认不确定”减少幻觉;且需重新设计评估指标以奖励不确定性表达,而非仅依赖准确度。OpenAI表示将延续努力,降低模型输出置信错误率。此外,OpenAI正重组负责模型行为的团队(Model Behavior团队),以更优化AI与人互动方式。
最新新闻
- 2025年9月18日:英伟达与英特尔达成定制芯片合作协议,特朗普政府未参与,郭明錤称台积电风险可控
- 2025年9月18日:英伟达斥资50亿美元入股英特尔,推动计算领域合作发展
- 2025年9月18日:拉什福德欧冠梅开二度:进球时感知空隙故直接射门
- 2025年9月18日:丁俊晖英格兰赛1/8决赛惜败无缘8强:3-0领先连输4局出局
- 2025年9月18日:拉什福德欧冠首球献予巴萨,时隔两年多再进欧冠进球
- 2025年9月18日:微软又要砸40亿建AI数据中心2.0,全球最强AI基建新动态
- 2025年9月18日:欧冠比赛中多纳鲁马神扑扑出别克马头球瞬间成焦点
- 2025年9月18日:23年50号秀!黄蜂官方:球队签下自由球员前锋基昂泰-约翰逊
- 2025年9月18日:谷歌Chrome浏览器接入Gemini:智能解读网页与历史记录功能正式上线
- 2025年9月18日:西班牙后卫赫伊森吐槽足球判罚机制引争议
- 2025年9月18日:NBA与英国合作投资数百万美元 扩大英国民间篮球运动 试点欧洲联赛前的布局
- 2025年9月18日:机器人成康复训练‘新帮手’?科技突破助力周期运动精准化
- 2025年9月18日:腾讯阿里市值双涨,科技巨头发展路径引发关注
- 2025年9月18日:2025亚冠小组赛冲突事件:球员扭打球迷投掷杂物 比赛险中断
- 2025年9月18日:鲁伊-科斯塔:穆帅符合选帅标准 本菲卡新帅亮相发布会
- 2025年9月18日:B席谈德布劳内重返伊蒂哈德:宿命感让主场成主场作战
- 2025年9月18日:苹果更实惠MacBook预计2025年第四季度量产
- 2025年9月18日:一代经典旗舰SUV大众途锐停止供应 中国市场车型调整
- 2025年9月18日:苹果计划在台湾建立测试生产中心,为可折叠iPhone做前期准备
- 2025年9月18日:英伟达斥资50亿美元入股英特尔,双方合作定制AI芯片,英特尔股价暴涨近30%
精彩评论(10)