北大提出自监督水下双目深度估计新框架:StereoAdapter发布

2025年10月25日
news

(图片来自网络)




北大提出自监督水下双目深度估计新框架:StereoAdapter发布


北大等机构研究人员提出 StereoAdapter 框架,针对水下机器人深度感知难题,融合单目和双目视觉,利用自监督学习,高效适配视觉基础模型,实现高精度深度估计,为水下机器人导航、目标检测等任务提供可靠支持。


水下环境中,深度感知对机器人自主导航、目标检测、三维重建等任务至关重要。相较于单目方法,双目视觉能通过双目相机直接获取具有度量尺度的3D深度,但水下场景存在光学特性差异(如光的吸收、悬浮颗粒散射等)等挑战,导致双目匹配困难。此背景下,研究人员提出StereoAdapter框架,解决两大核心挑战:一是参数高效地将庞大视觉基础模型适配到水下域(无需大量标注数据);二是融合单目与双目优势,在自监督条件下充分发挥双方优势。


此前结合单目双目信息的研究效果受限,北大等机构提出全新StereoAdapter框架,以自监督学习为基础,无需水下真实深度标签,将强大单目深度模型与双目几何有机结合。该框架采用双阶段结构,包括单目深度估计和双目深度细化阶段。



  • 单目阶段:使用预训练单目深度模型(如Depth Anything V2),插入LoRA模块进行水下域适配,学习水下图像特有特征,同时保留模型通用几何先验,高效调整至水下场景。

  • 双目阶段:利用第一阶段输出的单目深度作为全局先验,结合循环迭代细化的双目匹配模块,反复优化匹配误差,逐步逼近高精度深度结果;同时,利用GRU等模块实现多尺度特征融合与匹配优化。


框架采用自监督训练策略,单目阶段通过左右视图一致性构造训练信号(如光度重建损失、平滑损失),双目阶段引入多项自监督损失(重建损失、视差引导损失、平滑正则化),实现纯自监督流程,摆脱对水下真值深度数据的依赖。


实验验证中,StereoAdapter在仿真和数据集(如TartanAir水下子集、SQUID数据集)及真实水下场景测试等方面表现优异,精度领先对比方法,且推理效率高,适合实际部署。


未来研究将持续探索数据与模型改进,提升复杂水下场景下的表现。



(声明:该内容经AI精编) 查看原网页

精彩评论(10)

  • 网友10 2025-10-25 19
    从工程实现角度看,高效适配和自监督训练很实用,对资源受限的设备友好!
  • 网友9 2025-10-25 19
    科技发展带动教学和科研,这类前沿成果能激励学生探索!
  • 网友8 2025-10-25 19
    科幻电影里的水下机器人场景要成真咯,科学技术真神奇!
  • 网友7 2025-10-25 19
    这种技术对水下作业、巡检等应用有很大价值,希望尽快落地!
  • 网友6 2025-10-25 19
    不管多厉害,能帮我们更好地了解海洋世界,就觉得很棒!
  • 网友5 2025-10-25 19
    从技术原理来看,结合自监督和双目视觉确实很有创新,为水下机器人深度估计提供了新思路!
  • 网友4 2025-10-25 19
    学习人工智能的时候看到有这样的突破,感觉未来很酷,要多努力学呀!
  • 网友3 2025-10-25 19
    现在科技真好,能让水下机器人更聪明,保护海洋环境也有力啦!
  • 网友2 2025-10-25 19
    科技发展真快,这种水下技术对海洋研究帮助很大,期待应用!
  • 网友1 2025-10-25 19
    这个技术太厉害了,能让水下机器人更好感知环境,以后水下探索更安全,支持!
查看“北大提出自监督水下双目深度估计新框架:StereoAdapter发布”相关搜索 >

最新新闻

An unhandled error has occurred. Reload 🗙