VLA技术深度解析：对话专家解析自动驾驶与具身智能新纪元

VLA（视觉语言动作大模型）作为连接自动驾驶与具身智能的关键技术，正推动智能领域实现技术跃迁。本次我们邀请到小米汽车智能驾驶VLA技术负责人陈龙与上海交通大学计算机学院助理教授、ScaleLab负责人穆尧，围绕VLA技术内核、挑战与前景展开深度对话。

• 一、什么是VLA？



• DeepTech：先请两位解释一下什么是VLA技术。

  
  

  陈龙：VLA是利用大语言模型的泛化能力，结合互联网预训练的通识知识与语言推理能力，解决现实行为决策问题。在自动驾驶和机器人领域，VLA借助大模型能力，利用通识知识与推理能力优化决策。

  
  

  穆尧：VLA给机器人带来泛化能力，使机器人能通过语言理解人类指令，结合视觉语言模型预训练能力实现场景与视觉泛化，并衔接动作决策模块。



• 二、VLA与端到端自动驾驶的区别



• DeepTech：VLA技术自动驾驶上，和现在的端到端自动驾驶有什么区别？

  
  

  陈龙：端到端自动驾驶早期依赖模块化感知、预测、规划算法，VLA则通过大语言模型引入语言推理能力，提升决策可解释性与长尾问题泛化性，赋予“看了就懂、懂了就做”的认知能力。



• 三、什么是长尾问题和泛化问题？



• DeepTech：两位反复提到长尾和泛化。能不能举一些特殊的例子，帮助我们了解机器人或自动驾驶在某些场景下失效的情况？

  
  

  穆尧：机器人场景可从背景、前景、杂物、物体等层级举例。自动驾驶则以路口标识、未知场景为例，说明长尾问题对决策的影响。

  
  

  陈龙：自动驾驶长尾问题体现在未知场景、特殊标识等，VLA可通过语言推理提升应对能力。



• 四、VLA不只是加了一层语言



• DeepTech：传统或现在用的是从视觉直接映射到动作，VLA是从视觉映射到语言再映射到动作。是不是只是在中间加了一层语言？还是VLA中间加入语言能解决一些其他核心问题？

  
  

  陈龙：VLA是范式转变，利用大模型能力，通过语言模态引入推理与知识，解决决策问题，而非简单叠加。

  
  

  穆尧：VLA结合视觉语言与动作决策，赋予机器人语言理解与推理能力，提升任务执行灵活性。



• 五、机器人对语言的要求更高



• DeepTech：在机器人上呢？

  
  

  穆尧：机器人VLA需高语言能力，需将抽象指令拆解为动作原语，VLA结合视觉语言模型与动作专家网络，满足机器人多任务、开放世界需求。

  
  

  陈龙：自动驾驶与机器人均需语言能力，VLA通过语言模态拓展决策维度。



• 六、安全性问题：如何保证VLA不出错？



• DeepTech：不管自动驾驶还是机器人，安全性都是关键。如何看待语言模型幻觉问题？

  
  

  穆尧：通过强化学习等方式提升安全性，结合传统算法冗余保障，实现工业场景高可靠性要求。

  
  

  陈龙：自动驾驶需系统级安全冗余，结合传统感知与规控算法做安全检查，应对VLA决策潜在风险。



• 七、实时性问题：VLA的延迟怎么解决？



• DeepTech：另一个我比较关心的点是，如果加入语言的决策逻辑，模型延迟问题怎么解决？

  
  

  陈龙：自动驾驶要求实时响应，VLA可通过双系统（慢推理、快决策）结合，优化网络结构提升效率。

  
  

  穆尧：机器人可通过异步推理、并行化等方式优化延迟，结合云端与端侧协同实现高效决策。



• 八、思考与执行可以并行



• DeepTech：思考链与执行过程并行，如何解决遗忘问题？

  
  

  陈龙：训练时优化预训练与finetune策略，推理时压缩上下文、总结关键信息，解决遗忘与延迟问题。

  
  

  穆尧：机器人执行时通过显性总结、隐式嵌入等方式处理记忆与遗忘问题，优化决策效率。



• 九、世界模型与空间智能：争论还是融合？



• DeepTech：世界模型与空间智能等技术的争论，两位怎么看？

  
  

  穆尧：空间智能与语言模型均重要，世界模型提供通用空间推理能力，与语言模型可融合提升具身智能效果。

  
  

  陈龙：VLA与世界模型解决不同问题，可结合提升智能驾驶能力。



• 十、如何看待对VLA技术的质疑？



• DeepTech：如何看待对VLA技术质疑？

  
  

  穆尧：技术路线不同，VLA是前沿技术，需长期发展，最终会实现融合与共识。

  
  

  陈龙：技术发展有阶段，不能因当前问题否定潜力，VLA是物理世界AGI重要方向。

以下是本次对话的完整内容，通过两位专家解析VLA技术的本质、挑战与前景，为智能领域技术发展提供深度参考。