百度百舸开源生产级代码 联合SGLang社区打造先进AI基础设施
（图片来自网络）
近年来，Token消耗量呈年均百倍增长趋势。国家数据局数据显示，我国日均Token消耗量从2024年初的1000亿突破至30万亿，仅一年半增长超300倍。随着DeepSeek、Ernie等MoE类推理模型流行，大规模分布式推理系统建设成为AI落地关键挑战。为应对行业难题，12月14日百度百舸与SGLang社区联合举办技术分享活动，共同分享生产级代码与先进AI基础设施成果。
活动上，百度智能云AI计算首席科学家王雁鹏表示，百度百舸将生产级代码持续开源到开源社区，分享大规模生产环境积累的大模型训推系统能力，包括稳定、优化的核心组件。王雁鹏强调，开源是长期技术方向，未来会持续联合社区推动行业成长。
百度智能云10月已携手SGLang社区开源针对DeepSeek-V3.2推理性能优化的MTP技术代码，社区实测显示该技术让DeepSeek-V3.2解码吞吐量提升超2倍。
百度百舸团队在活动中分享大规模分布式推理基础设施实践。主任架构师田健介绍，新一代基础设施以自动化编排、静默实例、高性能调度三大支柱破解大模型部署“不可能三角”，优化推理效率与稳定性。高级架构师刘伟分享基于万卡级生产系统对DeepSeek V3.2推理引擎的轻量级CPE与ESS系统优化，破解长文本推理显存墙难题。高级工程师刘国维带来DeepSeek V3系列模型的AE分离框架实战，平衡性能、稳定性与运维复杂度。
SGLang社区方面，核心开发者分享了优化成果。张懿带来SGLang在Linear Model与Diffusion支持的最新进展，社区通过工程优化适配新一代模型结构，推动从语言模型走向统一生成引擎。SGLang Diffusion团队介绍其性能优势，将Diffusion推理性能提升至Diffusers的2–6倍，为统一模型预留优化空间。开发者还展示了投机推理与强化学习场景的进展，拓展推理框架适用边界。
未来，百度将持续联合开源社区打造先进AI基础设施，满足Token消耗增长诉求，推动大模型推理系统发展。
最新新闻
- 2025年12月18日：狼王加内特重返森林狼任职 21号球衣退役仪式在明尼苏达举办
- 2025年12月18日：21世纪网球25佳选手（一）：梅总与大炮竞逐历史地位
- 2025年12月18日：腾讯聘任OpenAI前研究员姚顺雨，大模型研发架构调整加速
- 2025年12月18日：烟台警方捣毁新能源汽车水军窝点 严惩恶意炒作行为
- 2025年12月18日：杭州小米车主未离园时倒车撞伤人员，被撞者不幸离世
- 2025年12月18日：成都蓉城获2026赛季联赛准入 律师就欠薪争议发声引关注
- 2025年12月18日：网坛快讯：卢布吐槽铁血训练 女王斯瓦泰克谈女网水平趋同
- 2025年12月18日：青春华章·青春问答 | 歼-35设计师：颜值即战斗力！
- 2025年12月18日：海南全岛封关首日首批国际船舶落户“中国洋浦港”见闻
- 2025年12月18日：享界挑战BBA，豪华车“SBBA时代”初现？
- 2025年12月18日：北汽详解L3级自动驾驶“测试牌照”和“准入许可”区别
- 2025年12月18日：荣耀WIN系列手机配备6.83英寸185Hz直屏 旗舰配置即将揭晓
- 2025年12月18日：小米等家电巨头集体转向速卖通，国产电视出海新主场引关注
- 2025年12月18日：山西男篮逆转送浙江三连败，球员数据亮眼！
- 2025年12月18日：美加墨世界杯球迷公园收费创先河 争议引关注
- 2025年12月18日：韦瑟斯庞狂砍56+6+6创CBA单场纪录 青岛赢下3连胜
- 2025年12月18日：广厦客场战胜福建夺赛季首胜：胡金秋26分9板 孙铭徽8助压哨
- 2025年12月18日：新疆105-95北控 CBA常规赛球员表现分化：5人满分，吴冠希及格，多人低迷
- 2025年12月18日：海南自贸港封关 琼州海峡客货运量增长态势显现
- 2025年12月18日：教育家精神万里行｜高照全：课堂连田埂 技术育新苗
精彩评论（10）