AI大牛提出Transformer存瓶颈,Agent时代架构引关注

2025年12月18日
news

(图片来自网络)

核心结论:90后AI大牛、阶跃星辰首席科学家张祥雨提出,Transformer架构在Agent时代存在技术瓶颈,难以支撑下一步发展。


Transformer作为当前生成式AI与大语言模型的基石,虽推动行业进步,但在处理长上下文、智能深度等方面存在缺陷。


架构缺陷分析:


  • 采用单向信息流设计,缺乏人类大脑“无限流”的记忆机制,难以实现动态压缩与选择性回溯

  • 处理长文本时,模型智商会随文本增长下降,已难以支持8万个Token以上高效运行

  • 本质建模能力受限,现有“小修小补”技术未根本改变其局限


张祥雨是ResNet开创者,其研究引发行业对新架构探索热潮。英伟达、Meta等科技巨头正探索Mamba、TTT等新架构与Transformer融合;中科院团队研发的类脑脉冲大模型“瞬悉1.0”也展示了构建非Transformer架构生态的可行性。


阶跃星辰团队已开始探索非线性递归网络等新架构方向,但架构革新面临系统效率和可并行度等挑战。

(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-12-18 19
    AI发展太快,新架构能解决问题,但担心会不会牛起来超过人类?不过这些都是发展问题。
  • 网友9 2025-12-18 19
    以后AI能像人一样灵活思考了?新架构太酷了,想了解细节!
  • 网友8 2025-12-18 19
    Transformer撑不住了?那AI得“换心脏”了,Agent时代要换新架构咯!
  • 网友7 2025-12-18 19
    张祥雨的研究很专业,Mamba这些新架构确实有潜力,结合transformer可能是方向。
  • 网友6 2025-12-18 19
    AI好神奇,以后能更智能了,不过新架构得安全可靠才行。
  • 网友5 2025-12-18 19
    从技术角度,Transformer的缺陷确实很明显,新架构探索是必然,但落地难在效率上。
  • 网友4 2025-12-18 19
    终于有AI架构突破的可能了,以后大模型能更智能了,太棒了!
  • 网友3 2025-12-18 19
    Transformer就像老电脑,Agent时代得换新手机了?😂
  • 网友2 2025-12-18 19
    AI发展太快了,不过新架构如果有用,肯定能解决现在的问题,慢慢来吧。
  • 网友1 2025-12-18 19
    这个研究很前沿,感觉未来AI发展方向很关键,新架构太期待了!
查看“AI大牛提出Transformer存瓶颈,Agent时代架构引关注”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙