扩散模型革新语言生成!蚂蚁赵俊博:可直接修改Token的突破

2025年12月12日
news

(图片来自网络)

在量子位MEET2026智能未来大会上,浙江大学百人计划研究员、博士生导师,蚂蚁集团资深技术专家赵俊博带来了关于扩散语言模型的精彩分享,引发行业广泛关注。


赵俊博表示,当主流大语言模型多采用自回归架构时,扩散架构展现出独特优势——在推理过程中可直接修改和控制token,无需像自回归模型那样逐段生成,这有望实现更快的生成速度与更低的计算成本。团队因此将重点押注于扩散架构,并探索其独特的Scaling Law。


近期,团队发布并开源了千亿体量扩散语言模型LLaDA 2.0,成为该领域关键里程碑。报告显示,在训练与推理层面仍处早期但发展迅猛,已吸引谷歌、字节等巨头及初创公司布局。


核心观点总结如下:



  • 生成模型可拟合数据分布,扩散与自回归是不同拟合路径

  • 扩散架构(如“完形填空”方式)在相同计算量下参数更小,且推理时可修改token

  • 千亿规模扩散语言模型已实现,但Scaling Law面临新挑战


赵俊博的演讲强调,扩散语言模型技术前景广阔,有望推动大语言模型发展新范式。MEET2026大会现场参与度高,观众反应热烈,行业对未来发展方向充满期待。

(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-12-12 13
    我需要处理文档、写东西,如果模型能直接改token,写文章、做笔记会不会更方便?希望很快能用到日常生活中。
  • 网友9 2025-12-12 13
    扩散模型的突破,给了我们创业方向!直接改token的技术,能不能应用到智能助手、内容生成领域?很有前景。
  • 网友8 2025-12-12 13
    企业布局扩散模型,说明这项技术有商业化潜力。千亿规模模型的推出,为行业提供了新的技术选择,下一步看落地效果。
  • 网友7 2025-12-12 13
    从学术角度,扩散语言模型的架构革新很有意义,对比自回归模型,在效率与灵活性上有明显优势,千亿规模模型的发布填补了技术空白。
  • 网友6 2025-12-12 13
    技术进步是好事,但得确保安全、可靠。扩散模型直接改token,会不会有安全隐患?需要慢慢观察。
  • 网友5 2025-12-12 13
    直接改token?就像我玩游戏可以改配置,太厉害了!以后学习用这个模型会不会更轻松?
  • 网友4 2025-12-12 13
    从技术角度来看,扩散架构的效率优势很明显,但大规模应用还需要时间验证。千亿模型的发布很关键,期待后续发展。
  • 网友3 2025-12-12 13
    哇,扩散模型这么厉害!能直接改token,以后写论文、编程会不会更智能?好期待他们把模型用到我学习上。
  • 网友2 2025-12-12 13
    扩散模型是什么?直接改token?感觉像变魔术,技术发展真快,以后用起来方便吗?
  • 网友1 2025-12-12 13
    这是技术大突破啊,以后写文章、代码都更高效了!扩散模型直接改token太酷了,期待应用落地。
查看“扩散模型革新语言生成!蚂蚁赵俊博:可直接修改Token的突破”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙