AI大牛提出Transformer存瓶颈,Agent时代架构引关注
(图片来自网络)
核心结论:90后AI大牛、阶跃星辰首席科学家张祥雨提出,Transformer架构在Agent时代存在技术瓶颈,难以支撑下一步发展。
Transformer作为当前生成式AI与大语言模型的基石,虽推动行业进步,但在处理长上下文、智能深度等方面存在缺陷。
架构缺陷分析:
- 采用单向信息流设计,缺乏人类大脑“无限流”的记忆机制,难以实现动态压缩与选择性回溯
- 处理长文本时,模型智商会随文本增长下降,已难以支持8万个Token以上高效运行
- 本质建模能力受限,现有“小修小补”技术未根本改变其局限
张祥雨是ResNet开创者,其研究引发行业对新架构探索热潮。英伟达、Meta等科技巨头正探索Mamba、TTT等新架构与Transformer融合;中科院团队研发的类脑脉冲大模型“瞬悉1.0”也展示了构建非Transformer架构生态的可行性。
阶跃星辰团队已开始探索非线性递归网络等新架构方向,但架构革新面临系统效率和可并行度等挑战。
(声明:该内容经AI精编)
查看原网页
最新新闻
- 2025年12月18日:OpenAI发布GPT - 5.2 - Codex:专业工程实战能力再突破
- 2025年12月18日:兰帕德:若率考文垂晋级英超,成就将列职业生涯最前列
- 2025年12月18日:AC米兰与西汉姆联就菲尔克鲁格转会谈判积极推进
- 2025年12月18日:曼联冬窗引援规划引关注 鲁本-内维斯成目标 利雅得新月愿低价放人
- 2025年12月18日:B费谈离队机会:愿带曼联重返巅峰 诠释忠诚理念
- 2025年12月18日:第42次南极考察人员登陆后重点工作解读
- 2025年12月18日:加图索提议征召巴尔泰萨吉出战世预赛附加赛:为什么不呢
- 2025年12月18日:国际米兰球员巴斯托尼谈球队实力:球场才是最终证明
- 2025年12月18日:摩洛哥加时3-2逆转约旦,哈默德双响助队夺阿拉伯杯
- 2025年12月18日:曼纳回应马竞传闻:不认为拉斯帕多里离开,对孔蒂信心满满
- 2025年12月18日:吴淞海事局自研智能系统实现船舶秒级定位,语音识别近九成,推动水域安全监管智能化转型
- 2025年12月18日:意超杯半决赛:那不勒斯对阵AC米兰 赛前阵容公布引关注
- 2025年12月18日:曼城主帅瓜迪奥拉执教年限接近尾声 离任传闻升温?
- 2025年12月18日:莫德里奇意超杯半决赛坐替补:跟队记者称是轮换安排
- 2025年12月18日:齐沃谈意大利超级杯备战:为赢比赛拿奖杯 雄心始终如一
- 2025年12月18日:国产大模型密集冲击港股上市:MiniMax与智谱AI获批聆讯
- 2025年12月18日:海南封关首日,苹果享2000多元立减,榴莲抢购成热点
- 2025年12月18日:阿拉伯国家杯决赛半场:坦纳尼吊射建功 摩洛哥1-0约旦
- 2025年12月18日:利物浦官方确认:麦卡利斯特对皇马头球成11月最佳进球
- 2025年12月18日:曼联管理层不满裁判判罚不公,拟与裁判负责人会谈

精彩评论(10)