国产算力预训练突破！开元-2B全流程开源，AI新生态诞生

2025年12月21日

（图片来自网络）

国产算力驱动的人工智能模型预训练迎来重要突破！

鹏城实验室与清华大学PACMAN实验室联合发布的开元-2B模型，以全流程开源的方式展现了国产算力下的预训练新可能。

该模型从训练数据、数据处理框架、训练框架到技术报告，全部实现开源共享，为AI研究者提供可复现的技术路径，推动国产AI生态共建。

开元-2B模型依托鹏城脑海2计算平台，采用华为鲲鹏920与昇腾910A国产硬件，在训练稳定性方面实现重大突破。研究团队引入三明治范数与软裁剪技术，有效解决FP16环境下训练稳定性问题，为后续国产平台大规模训练提供重要参考。

数据处理环节，团队开发Kaiyuan-Spark框架实现高效全局去重，提出分位标定方法建立数据质量评价标准。通过分位标定发现，高质量数据占比虽小却是提升模型能力的关键，为数据筛选与利用提供科学依据。

开元-2B还提出多阶段动态比例调整、课程学习等策略，优化数据效用分布，提升模型性能。全流程开源让训练数据、框架、技术报告等全部公开，为其他研究者提供完整工具箱，加速技术迭代。

目前，模型权重、技术报告及相关代码已在官方平台发布，欢迎开发者、研究者共同参与测试、改进与拓展，共同推动国产算力下的AI技术发展。