A Survey of Vision-and-Language Navigation Methods |视觉-语言导航方法综述

这篇视觉语言导航方法综述,核心是梳理 VLN 任务里所有主流技术路线,对比不同视觉语言导航方法的优缺点、适用场景,同时把领域发展脉络、标准评测基准、仿真和真机落地的鸿沟都整理清楚。视觉语言导航简单说就是让智能体看懂自然语言指令,再结合实时视觉画面在三维环境里一步步走到目标位置,难点在于文字语义和视觉场景对齐、长路径记忆、陌生环境泛化,还有仿真效果很难直接迁移到真实机器人。这篇综述梳理的思路是先明确任务定义与评测指标,接着按架构分成端到端方案、模块化分层方案、大模型基座方案三类,再沿着时间线讲清楚视觉语言导航方法从早期 Seq2Seq 到现在世界模型、智能体范式的迭代过程,最后汇总当前视觉语言导航方法普遍遇到的瓶颈和未来研究方向,给做相关研究、工程落地的人提供完整参考。

一、视觉语言导航(VLN)任务基础定义

  • 任务目标:具身智能体接收自然语言导航指令,依靠第一视角视觉观测,在未见过的 3D 场景里完成导航,抵达目标点位。
  • 核心指标:
  • 经典基准数据集:R2R、RxR、VLN-CE(连续环境导航),绝大多数视觉语言导航方法都在这几个数据集上做对比测试。
指标说明
SR(成功率)智能体成功到达终点的样本占比
SPL(路径长度加权成功率)兼顾成功与否、路径是否绕路,是 VLN 最核心指标
TL(轨迹长度)行走路径总长度
Oracle SR有完美全局信息时的理论上限成功率

二、主流视觉语言导航方法分类

  1. 端到端序列建模方法
  2. 分层模块化规划方法
  3. 大模型 / 基座模型驱动的视觉语言导航方法

代表模型:Seq2Seq、Speaker-Follower、VLN-BERT

思路:把语言文本、视觉图像直接输入同一个模型,一步输出动作序列,不用单独拆分理解、建图、规划模块。

优点:结构简单,训练部署方便,早期视觉语言导航方法的基线。

缺点:误差会不断累积,长距离导航很容易跑偏,陌生场景泛化弱。

代表模型:DUET、EGP 图规划器

思路:拆成语义理解、场景记忆建图、全局路径规划、局部动作执行几个独立模块,很多会维护拓扑图记忆,可以回溯纠错。

优点:可解释性强,长路径稳定性更好,真机机器人部署时鲁棒性更高。

缺点:模块之间耦合难调,整体调参成本高。

代表模型:NavGPT、MemVLN、AgentVLN、FutureNav

思路:用 LLM 或者多模态大模型当 “大脑”,新增记忆模块、世界预测模块,让模型想象未来场景状态,做推理规划。

优点:零样本、少样本能力强,能理解更口语化、复杂的人类指令,是现在视觉语言导航方法的主流研究方向。

缺点:算力开销大,纯大模型容易忽略空间几何约束,仿真到真机落差明显。

三、视觉语言导航方法发展时间线

  • 2018:Seq2Seq,R2R 数据集发布,视觉语言导航任务正式成型
  • 2019:EnvDrop,数据增强手段,缓解模型过拟合
  • 2020:VLN-CE 基准提出,航点预测器成为标配组件
  • 2021:VLN-BERT,引入 Transformer,处理长指令依赖
  • 2022:DUET,拓扑图记忆,增加回溯纠错能力
  • 2024:NavGPT,验证大语言模型做 VLN 零样本导航可行性
  • 2025–2026:MemVLN、FutureNav、AgentVLN,重点做情景记忆、世界模型、边缘端智能体架构

四、现有视觉语言导航方法共性难题

  1. 仿真到现实鸿沟:很多方法在仿真环境成功率很高,放到真实机器人上指标大幅下跌,单 RGB 模型落差尤其明显。
  2. 跨模态对齐难题:文字描述的地标、方位词,很难稳定对应到视觉画面里物体。
  3. 长时记忆丢失:长导航轨迹下,智能体容易忘记前面的指令和路过的场景。
  4. 环境开放泛化:在训练没见过的户型、物体里,大部分视觉语言导航方法性能下滑严重。

【相关 FAQ】

问题 1:视觉语言导航方法和普通视觉导航方法最大差别是什么?

回答 1:普通视觉导航大多依靠预设地图、坐标目标,视觉语言导航方法核心是输入自由自然语言指令,不需要提前给坐标或者地图,智能体自主把文字语义和视觉场景做对齐,跟随语言指引完成导航。

问题 2:现在效果更好的视觉语言导航方法是分层规划还是大模型方案?

回答 2:在仿真数据集上,带世界模型、情景记忆的大模型类视觉语言导航方法上限更高;在真实机器人真机落地场景,分层拓扑规划类视觉语言导航方法稳定性、成功率通常更有保障。

问题 3:评测视觉语言导航方法,为什么优先看 SPL 而不是 SR?

回答 3:SR 只看有没有走到终点,智能体可以靠到处乱逛碰运气成功;SPL 加权了路径长度,能同时衡量视觉语言导航方法能不能走捷径、高效完成导航,是领域公认更公平的指标。

【参考资料】

[2026-10-22](MemVLN: Streaming Episodic Memory for Vision-Language Navigation)arXiv

[2026-06-29](FutureNav: Unified World-Action Modeling for Vision-and-Language Navigation)arXiv

[2026-03-20](AgentVLN: Towards Agentic Vision-and-Language Navigation)arXiv

[2026-01-10](A Survey of Vision-and-Language Navigation Methods)阿里云开发者社区

[2024-07-11](Vision-and-Language Navigation Today and Tomorrow: A Survey in the Era of Foundation Models)arXiv

【免责声明】

本文内容仅基于公开学术文献、技术社区资料整理,只做技术科普参考,不构成项目落地、学术引用的唯一依据;相关视觉语言导航方法性能受数据集、硬件、环境影响,实际效果以复现实验为准。

本文来自作者[零栅守望]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2683.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 零栅守望
    零栅守望 2026年11月22日

    我是岳鹿科技网的签约作者“零栅守望”!

  • 零栅守望
    零栅守望 2026年11月22日

    希望本篇文章《A Survey of Vision-and-Language Navigation Methods |视觉-语言导航方法综述》能对你有所帮助!

  • 零栅守望
    零栅守望 2026年11月22日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 零栅守望
    零栅守望 2026年11月22日

    本文概览:这篇视觉语言导航方法综述,核心是梳理 VLN 任务里所有主流技术路线,对比不同视觉语言导航方法的优缺点、适用场景,同时把领域发展脉络、标准评测基准、仿真和真机落地的鸿沟都整理清楚。视觉语言导航简单说就是让智能体看懂自然语言指令,再结合实时视觉画面在三维环境里一步步走到目标位置,难点在于文字语义和视觉场景对齐、长路径记忆、陌生环境泛化,还有仿真效果很难直接迁移到真实机器人。这篇综述梳理的思路是先明确任务定义与评测指标,接着按架构分成端到端方案、模块化分层方案、大模型基座方案三类,再沿着时间线讲清楚视觉语言导航方法从早期 Seq2Seq 到现在世界模型、智能体范式的迭代过程,最后汇总当前视觉语言导航方法普遍遇到的瓶颈和未来研究方向,给做相关研究、工程落地的人提供完整参考。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们