扩散模型革新语言生成!蚂蚁赵俊博:可直接修改Token的突破
(图片来自网络)
在量子位MEET2026智能未来大会上,浙江大学百人计划研究员、博士生导师,蚂蚁集团资深技术专家赵俊博带来了关于扩散语言模型的精彩分享,引发行业广泛关注。
赵俊博表示,当主流大语言模型多采用自回归架构时,扩散架构展现出独特优势——在推理过程中可直接修改和控制token,无需像自回归模型那样逐段生成,这有望实现更快的生成速度与更低的计算成本。团队因此将重点押注于扩散架构,并探索其独特的Scaling Law。
近期,团队发布并开源了千亿体量扩散语言模型LLaDA 2.0,成为该领域关键里程碑。报告显示,在训练与推理层面仍处早期但发展迅猛,已吸引谷歌、字节等巨头及初创公司布局。
核心观点总结如下:
- 生成模型可拟合数据分布,扩散与自回归是不同拟合路径
- 扩散架构(如“完形填空”方式)在相同计算量下参数更小,且推理时可修改token
- 千亿规模扩散语言模型已实现,但Scaling Law面临新挑战
赵俊博的演讲强调,扩散语言模型技术前景广阔,有望推动大语言模型发展新范式。MEET2026大会现场参与度高,观众反应热烈,行业对未来发展方向充满期待。
(声明:该内容经AI精编)
查看原网页
最新新闻
- 2025年12月12日:推动智能终端普惠化,跨界大咖共话“银发科技产业”
- 2025年12月12日:梅西当选迈阿密国际年度MVP 阿尔巴获最佳防守球员
- 2025年12月12日:太空算力,上海出手了
- 2025年12月12日:巴西球员英超单赛季进球榜出炉 库尼亚等15球并列领跑
- 2025年12月12日:德转发布土耳其球员历史身价榜:居莱尔以9000万欧元登顶第一
- 2025年12月12日:AI赋能智慧交通:机场客流预判与红绿灯优化成现实
- 2025年12月12日:吉利全域安全进入2.0时代:重新定义汽车安全新标准
- 2025年12月12日:姆巴佩与巴黎圣日耳曼陷入法律纠纷,互相索赔数亿欧元
- 2025年12月12日:足球明星舍什科膝伤刚愈又遇食物中毒,新赛季回归成谜
- 2025年12月12日:在线投票选科技年度好产品!
- 2025年12月12日:GPT-5.2发布:能力提升与定价争议引关注
- 2025年12月12日:昨日社会热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日文化热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日科技热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日体育热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日娱乐热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日财经热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日教育热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日汽车热门资讯汇总-早报速览(2025-12-12)
- 2025年12月12日:昨日健康热门资讯汇总-早报速览(2025-12-12)

精彩评论(10)