Sea AI Lab揭秘：LLM训练崩溃或与BF16精度相关？新方案或破解核心难题

2025年11月3日

（图片来自网络）

Sea AI Lab 与新加坡国立大学的研究揭示了大型语言模型（LLM）训练时频繁崩溃的根源——并非复杂的算法设计，而是**BF16 浮点数精度**设定。研究指出，BF16 在预训练阶段看似稳定的特性，在强化学习（RL）微调过程中却变成了“隐患”，导致“训练-推理不匹配”，进而引发崩溃。

研究团队通过详实实验证明，BF16 的低精度会在模型训练和推理过程中制造鸿沟，形成“训练-推理不匹配”现象。这一现象是 RL 微调不稳定的核心原因，会导致训练任务失败和崩溃。

BF16 与 FP16 的对比分析

由于 BF16 依赖其大动态范围带来稳定性，在 RL 微调的精细过程中，这种低精度会造成舍入误差累积，最终引发策略分布偏离（即训练-推理不匹配）。

解决方案：回归 FP16 精度

研究团队提出简单且有效的解决方案——将计算精度从 BF16 切换为具有更高精度的 FP16 格式。这一改动能从根本上消除“训练-推理不匹配”问题，带来更稳定、高效、性能更强的模型。

实验验证结果显示，在多种 RL 框架（如 VeRL、Oat）、不同规模模型（如 MoE、LoRA、大模型）及多种场景下，使用 FP16 精度训练的模型稳定性远优于使用 BF16 精度的模型，且性能更优。

这一发现不仅为 LLM 训练提供了更简洁、高效的解决方案，也推动了行业内对数值精度选择的重新思考。