北大提出自监督水下双目深度估计新框架:StereoAdapter发布
(图片来自网络)
北大等机构研究人员提出 StereoAdapter 框架,针对水下机器人深度感知难题,融合单目和双目视觉,利用自监督学习,高效适配视觉基础模型,实现高精度深度估计,为水下机器人导航、目标检测等任务提供可靠支持。
水下环境中,深度感知对机器人自主导航、目标检测、三维重建等任务至关重要。相较于单目方法,双目视觉能通过双目相机直接获取具有度量尺度的3D深度,但水下场景存在光学特性差异(如光的吸收、悬浮颗粒散射等)等挑战,导致双目匹配困难。此背景下,研究人员提出StereoAdapter框架,解决两大核心挑战:一是参数高效地将庞大视觉基础模型适配到水下域(无需大量标注数据);二是融合单目与双目优势,在自监督条件下充分发挥双方优势。
此前结合单目双目信息的研究效果受限,北大等机构提出全新StereoAdapter框架,以自监督学习为基础,无需水下真实深度标签,将强大单目深度模型与双目几何有机结合。该框架采用双阶段结构,包括单目深度估计和双目深度细化阶段。
- 单目阶段:使用预训练单目深度模型(如Depth Anything V2),插入LoRA模块进行水下域适配,学习水下图像特有特征,同时保留模型通用几何先验,高效调整至水下场景。
- 双目阶段:利用第一阶段输出的单目深度作为全局先验,结合循环迭代细化的双目匹配模块,反复优化匹配误差,逐步逼近高精度深度结果;同时,利用GRU等模块实现多尺度特征融合与匹配优化。
框架采用自监督训练策略,单目阶段通过左右视图一致性构造训练信号(如光度重建损失、平滑损失),双目阶段引入多项自监督损失(重建损失、视差引导损失、平滑正则化),实现纯自监督流程,摆脱对水下真值深度数据的依赖。
实验验证中,StereoAdapter在仿真和数据集(如TartanAir水下子集、SQUID数据集)及真实水下场景测试等方面表现优异,精度领先对比方法,且推理效率高,适合实际部署。
未来研究将持续探索数据与模型改进,提升复杂水下场景下的表现。
(声明:该内容经AI精编)
查看原网页
最新新闻
- 2025年10月25日:联想Moto X70 Air手机预售:搭载第四代骁龙7处理器,起售价2599元
- 2025年10月25日:中国AI能力建设研讨班获国外官员点赞
- 2025年10月25日:AI破解数据‘漂绿’!国内首个ESG大模型升级,供应链智能化协同提速
- 2025年10月25日:科学大讲堂:赵炳然讲袁隆平种子故事,杂交水稻科研在成都结硕果
- 2025年10月25日:科学大讲堂|胡娜:精神影像探索,让精神疾病诊断更精准
- 2025年10月25日:5000字公报聚焦‘办好自己的事’,中国发展定力彰显
- 2025年10月25日:吴杰分享航天故事:选择航天事业,终身无悔的坚守
- 2025年10月25日:荣耀发布自进化AIOS新底座,定义AI时代操作系统新方向
- 2025年10月25日:影石连续4年送黄金键帽,员工获35克空格黄金,价值近4万,科技企业福利创新引关注
- 2025年10月25日:光刻胶领域我国实现技术新突破
- 2025年10月25日:亚洲第一长洞贵州双河洞发现52具大熊猫化石
- 2025年10月25日:科学大讲堂|郑雪:“人造太阳”突破,成都城筑牢能源未来支撑
- 2025年10月25日:全球半导体量检测设备市场全景:细分市场加速突围
- 2025年10月25日:中共“十五五”规划建议将重塑全球经济,五年发展蓝图引国际关注
- 2025年10月25日:陕西乡村振兴:丰收美景展新程
- 2025年10月25日:30个月:汽车周销量榜的诞生与消亡
- 2025年10月25日:好奇心是无用之功吗?顶科论坛上,这位科学家倡导多提“天马行空”的疑问
- 2025年10月25日:第三届鸟巢数字体验节启幕:机器人嘉年华打造未来生活新场景
- 2025年10月25日:理想MEGA起火事件引社会关注,新能源汽车车门机械开关安全受检,多品牌客服回应
- 2025年10月25日:上体体育大模型2.0发布:体育人工智能创新再提速

精彩评论(10)