关于本站登录

SGLang原生适配昇腾平台，新模型一键运行无需代码修改

2025年12月21日

（图片来自网络）

在AI大模型推理领域，昇腾作为主流算力平台，与SGLang推理引擎的协同成为行业焦点。近日，SGLang原生支持昇腾平台，让DeepSeek、Qwen、GLM等大模型能在昇腾硬件上直接运行，无需调整模型参数或安装额外插件，展现大模型推理与算力生态的协同进步。

此次合作聚焦大模型推理效率与工程实践，SGLang推理引擎更新后，整合HiCache、Mooncake等系统能力，形成从缓存、内存到算力优化的完整推理路径。支持新模型在昇腾平台上实现“一键拉起”，降低开发与部署成本。

核心亮点：

模型适配：支持DeepSeek、Qwen等多类开源模型，在昇腾硬件上实现Day0直接运行，简化部署流程。

系统优化：HiCache扩展缓存至CPU与远端存储， Mooncake优化权重更新与冷启动效率；Slime系统定制强化学习训练，提升训练与推理效率。

生态协同：昇腾作为主流后端，深度融入SGLang主仓库，推动AI算力与开源推理框架的融合发展。

实测数据显示，昇腾在处理PD分离、长上下文推理等场景时，吞吐达15TPS/卡，推理时延约4秒，展现高吞吐、低延迟性能。这一进展标志着昇腾从单一硬件支持向“推理系统生态协同”转变，为未来规模化AI应用提供稳定基础。

（声明：该内容经AI精编）查看原网页

精彩评论（10）

网友10 2025-12-21 22

之前用其他平台麻烦，现在和SGLang、昇腾配合，操作更顺了，进步大！
网友9 2025-12-21 22

这种开源与商业平台的合作，有助于AI产业健康发展。
网友8 2025-12-21 22

大模型和算力平台结合太酷了，未来应用场景会更广！
网友7 2025-12-21 22

昇腾支持更多模型，系统优化细节很到位，工程实践性强。
网友6 2025-12-21 22

什么是SGLang和昇腾？感觉科技名词有点多，但很有前途。
网友5 2025-12-21 22

技术协同不错，但从长期看还需要更稳定的系统优化。
网友4 2025-12-21 22

能直接运行对初创公司友好，不用花时间调试，效率提升不少！
网友3 2025-12-21 22

这对企业来说很方便，不用改代码就能适配，节省开发成本！
网友2 2025-12-21 22

科技发展真快，现在大模型和昇腾配合好，以后用起来省心！
网友1 2025-12-21 22

太厉害了，以后用昇腾跑模型不用改代码，学习大模型更方便了！

查看“SGLang原生适配昇腾平台，新模型一键运行无需代码修改”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙