上海布局“类脑大模型”颠覆性创新，交大教授挑战主流架构

近日，上海交通大学长聘教授、通用人工智能研究所所长赵海团队研发的“脑启发大语言模型”入选“交大2030”计划B类，并列入上海市科委“类脑智能”项目，这标志着上海在类脑大模型领域布局颠覆性创新项目，挑战主流大模型架构。

当前，Transformer架构是人工智能大模型的通用架构，但面临计算成本高、缺乏对复杂世界的理解、决策过程“黑箱化”等瓶颈。上海布局类脑大模型，正是为了探索突破这些局限的新智能范式，专家指出类脑大模型模拟人脑语义编码和信号传播机制，有望实现通用人工智能（AGI）。

从脑科学成果获取创新灵感：ChatGPT引发人工智能领域对Transformer架构的质疑后，部分专家认为该架构存在发展潜力局限。图灵奖得主杨立昆指出其面临计算成本高、理解复杂世界不足、决策“黑箱化”等瓶颈。在此基础上，类脑大模型探索成为重要方向，加州大学伯克利分校在大脑语义编码机制方面取得的脑科学成果，为赵海团队研发类脑大模型提供了灵感。

创新架构：“信号全连接流动”机制：赵海团队研发的“脑启发大语言模型”采用**“信号全连接流动”**机制，颠覆了Transformer架构的自注意力机制，模拟人脑语义编码与信号传播方式。与Transformer架构大模型相比，该模型有四大潜在优势：

• 通过模拟人脑语义编码和信号传播，有望大幅降低大模型计算成本，实现人脑的低能耗优势


• 每个节点对应明确语义，决策过程透明可解释，消除大模型决策“黑箱”问题，确保人工智能安全可控


• 信号可在节点间无限制传播，有望支持无限长上下文输入，且无须增加模型规模


• 与多模态天然适配，学习图像和视频时更接近人类学习方式，不依赖大数据

阶段性成果与项目支持：今年3月，150亿参数的“脑启发大语言模型”（BriLLM）问世并开源；5月发布压缩版，性能与原模型相当。团队经过4轮评审，获得“交大2030”计划B类立项支持（B类倡导“从0到1”原始创新），团队计划用经费开发对话式大模型，与Transformer架构大模型展开竞争。

类脑大模型的未来布局：在类脑大模型领域，除赵海团队，中国科学院脑智卓越中心的类脑通用智能大模型也在研发中。两支团队分别从宏观（赵海团队模拟全局机制）和微观（中科院团队模拟神经元激活方式）尺度探索类脑智能，共同推动通用人工智能（AGI）发展。赵海计划开发百亿参数级类脑大模型，预计完成中文和英文预训练、指令微调、高效推理部署等任务，为用户展现非Transformer架构大模型优势。