视觉状态空间模型(Vision SSM / Vision Mamba)方法综述:从骨干架构、扫描策略到视觉应用全景
先说核心结论:视觉状态空间模型(Vision State Space Model,下面统称 Vision SSM,代表模型是 Vision Mamba / VMamba 这一类)已经成为继 CNN、ViT 之后视觉架构的第三条路线。它把 Mamba 那套选择性扫描、线性复杂度的递归状态机制搬到图像、视频、点云和多模态数据上,主打 "长距离全局建模 + 线性时间 / 显存开销",正好补上 Transformer 自注意力二次复杂度在高分辨率图像、长视频、3D 医学体数据上的短板。目前这条路线已经形成三类主流融合范式 —— 纯 SSM 骨干、CNN / 注意力混合架构、多模态融合模型;核心技术分歧集中在 "二维图像怎么压成一维序列" 也就是扫描策略上;应用已经覆盖图像分类、检测、分割、视频理解、医学影像、遥感、底层视觉(超分 / 复原 / 生成)和多模态感知。从最新结果看,Vision SSM 还没有在所有任务上全面碾压最强 CNN 和 ViT,但在高分辨率、长序列、资源受限场景下的效率优势很明确,下一步要解决的是二维局部结构保持、扫描顺序鲁棒性、训练稳定性和大规模泛化这些问题。
一、为什么视觉领域会引入状态空间模型
先把背景捋清楚。视觉架构这些年走的是三条线:
- CNN:靠局部连接、权重共享和二维归纳偏置,局部纹理和层次特征很强,但感受野要靠堆深度慢慢扩,全局上下文建模偏弱。
- ViT:把图像切成 patch 序列,用自注意力直接做全局交互,表示能力强,但注意力计算量随 token 数量呈二次增长,高分辨率图、视频、3D 体数据一上来,显存和延迟就顶不住。
- Vision SSM:用隐状态递归加选择性扫描做近似全局感受野,序列长度上是线性复杂度,推理时还能保持常数内存,刚好卡在 CNN 和 ViT 中间那个效率空档上。
视觉数据本身有四个硬需求:局部相关性、层次化表示、全局上下文、计算效率。CNN 偏前两者,ViT 偏第三者,而 Vision SSM 的出发点就是尽量同时拿到 "比 CNN 强的长程依赖 + 比 ViT 低的算力成本"。
二、Vision SSM 的基础原理:从连续系统到 Mamba 选择性扫描
状态空间模型最早来自控制理论,用一组状态变量描述系统随时间的演化。经典连续时间形式可以简单理解成:输入 x (t) 驱动隐状态 h (t) 更新,再由 h (t) 算出输出 y (t)。离散化之后就变成递归公式:上一时刻状态 + 当前输入 → 更新状态 → 输出。
落到深度学习这条线,关键演进节点是:
- S4(结构化状态空间序列模型):用结构化矩阵和 HiPPO 初始化解决长程记忆问题,把 SSM 变成可训练的深度序列模型。
- Mamba(S6 块):在 S4 基础上做了三件关键事,也是它能进视觉的前提:
- 选择性机制:参数 B、C、Δ 依赖输入内容,模型能自己决定保留什么、过滤什么;
- 硬件感知设计:用并行扫描算法把递归计算转成 GPU 能高效并行的实现;
- 线性复杂度:序列长度增加时,计算和显存近似线性扩张,不像注意力那样炸二次方。
视觉领域要解决的根本矛盾是:SSM 天生处理一维序列,而图像是二维、视频是三维(空间 + 时间)。所以所有 Vision SSM 工作,本质上都是在回答一个问题:怎么把多维视觉数据序列化、扫描进状态空间,同时尽量不破坏原来的空间结构。
三、三类主流融合范式与代表模型
按 SSM 在视觉网络里的角色,目前综述里普遍分成下面三种范式。
1. 纯 SSM 骨干网络
尽量少用甚至不用自注意力,整个图像 patch 序列主要交给 SSM 模块处理。核心难点是在一维扫描里保住二维位置关系。
- Vim(Vision Mamba):早期纯 SSM 通用骨干,图像分 patch 后加位置编码,用双向 Mamba 块同时从前向、后向两个方向建模视觉上下文。相比 DeiT,在 ImageNet、COCO、ADE20K 上表现更好,高分辨率(1248×1248)特征提取快约 2.8 倍,GPU 显存省约 86.8%。
- VMamba:提出 VSS(Visual State-Space)块和 SS2D(2D Selective Scan)模块,用四个方向的交叉扫描把二维特征图展开成多条序列路径,各自走 S6 后再合并回二维图。是层次化视觉 Mamba 路线最有代表性的骨干之一。
- PlainMamba:用连续二维扫描保证相邻 token 的空间连续性,并加入方向感知更新来区分扫描方向。
- LocalMamba:窗口化局部扫描,先保住相邻 patch 的依赖,再让不同层搜索不同扫描方向。
- EfficientVMamba:用空洞选择性扫描(ES2D)跳采样,把全局扫描拆成局部 + 全局稀疏形式,配卷积分支和通道注意力补细节。
- VSSD:面向视觉这种非因果场景,去掉 SSM 对状态和 token 顺序的强依赖,用非因果状态空间对偶做多扫描融合。
2. 混合架构:SSM 嵌入成熟视觉框架
不把 SSM 当成 CNN/Transformer 的完全替代品,而是把它作为长程依赖模块嵌进 U 形网络、层次化骨干或 CNN 结构里。这类方法通常更稳,也更容易迁移到检测、分割、医学影像等任务。
- U-Mamba:CNN-SSM 混合编码 - 解码结构,残差块抽局部细粒度特征,再接 Mamba 块做长程建模,面向生物医学图像分割。
- VM-UNet:把自注意力换成 VSS 块,用 SS2D 四方向扫描,U 形结构加跳连接保细节,在皮肤病变、腹部器官分割上效率明显高于 Transformer 方案。
- MambaVision:Mamba 与 Transformer 混合骨干,按层分配 SSM 和注意力各自擅长的部分。
- Mamba-R:引入 register token(寄存器 token)缓解 Vision Mamba 特征图上的伪影问题。
- SiMBA:Mamba 块配 MLP 和可学习傅里叶变换通道建模,解决小网络到大网络扩展时的稳定性问题。
3. 多模态与跨模态融合模型
把 SSM 同时用在视觉和语言 / 其他模态上,做跨模态对齐和融合。
- Sigma:孪生 Mamba 网络做多模态语义分割,是 SSM 在多模态感知上较早的完整落地。
- EMMA:面向多模态 Mamba 大模型,做结构和层次对齐,降低视觉幻觉、提升细粒度视觉敏感度。
- TG-MUNet:文本引导的 Mamba U-Net,用文本语义通过 FiLM 条件调制空间特征,做半监督医学分割。
代表模型对照速查表
| 模型 | 范式 | 核心设计 | 主要任务 | 特点 | 局限 |
|---|---|---|---|---|---|
| Vim | 纯 SSM 骨干 | 双向 Mamba + 位置编码 | 分类、检测、分割 | 显存占用低、高分辨率效率高 | 优化依赖较强,单向建模能力受限 |
| VMamba | 纯 SSM 骨干 | SS2D 四方向交叉扫描 + 层次结构 | 分类、检测、分割 | 线性复杂度、全局感受野、吞吐高 | 速度表现较依赖工程实现 |
| LocalMamba | 纯 SSM 骨干 | 窗口局部扫描 + 方向搜索 | 识别、分割 | 局部邻接保持好 | 长程依赖受窗口限制 |
| EfficientVMamba | 轻量纯 SSM | 空洞扫描 ES2D + 卷积分支 | 识别、密集预测 | 复杂度低、局部细节补得好 | 面向边缘部署仍需进一步压缩 |
| U-Mamba | CNN-SSM 混合 | 残差块 + Mamba 块 | 医学分割 | 跨模态影像鲁棒、离群点少 | 训练阶段显存偏紧 |
| VM-UNet | CNN-SSM 混合 | VSS 块 + U 形跳连接 | 医学分割 | 推理高效、FLOPs 低 | 边缘落地需压缩 |
| VSSD | 纯 SSM 骨干 | 非因果状态空间对偶 | 分类、检测、分割 | 线性全局复杂度、吞吐高 | 细粒度局部细节偏弱 |
| MSF-Mamba | 视频 SSM 混合 | 运动感知状态融合 + 多尺度 | 微手势 / 动作识别 | 同时建模全局与局部时空依赖 | 面向特定动作场景设计 |
四、扫描策略:Vision SSM 最核心的技术分歧
因为 SSM 只能按一维顺序处理 token,"怎么扫描" 直接决定了哪些空间邻居在序列里相邻、局部结构能不能被递归有效建模。现有方法大致分成四类:
- 横扫扫描(sweeping scan):仿照明细行从左到右、从上到下展开,代表是 Vim、VMamba。实现简单,但换行时相邻关系会被打断。
- 连续扫描(continuous scan):蛇形折返,保证相邻行之间 token 连续,代表是 PlainMamba。缓解换行断裂,但仍是人工固定路径。
- 局部窗口扫描(local scan):在窗口内独立扫描,保局部依赖,代表是 LocalMamba、EfficientVMamba。局部强,但长程视野受限。
- 自适应 / 动态扫描:数据驱动地分配扫描顺序和区域,代表是 DAMamba 的 DAS(动态自适应扫描);PRISMamba 则改成同心环扫描,环内做顺序无关聚合、环间用短径向 SSM 传上下文,提升旋转鲁棒性。
最新研究已经把扫描顺序当成一等超参来看:不同扫描路径会改变空间邻接关系、割裂物体连续性,在旋转等几何变换下还会放大退化。也就是说,扫描不再是实现细节,而是影响精度、效率和鲁棒性的关键设计项。另外还有一条线是直接改递归动态本身,比如 TCP-SSM 用实极点和复共轭极点显式参数化记忆衰减和振荡响应,让状态记忆行为可解释、可控,并在分类、分割、检测上把 SSM 计算最多降约 44%,精度持平或略升。
五、典型视觉应用方向
1. 通用视觉任务
- 图像分类:ImageNet-1K 上各尺寸 VMamba 系列、DAMamba、PRISMamba 等持续刷新 Vision SSM 精度,同时保持低于 ViT 的 FLOPs。
- 目标检测 / 实例分割 / 语义分割:骨干配合检测头和 U 形解码器,在 COCO、ADE20K 等基准上验证层次化 VSS 块的密集预测能力。
- 视频理解:VideoMamba、Video-Mamba-Suite 把时空输入压成一维序列,做动作识别和长视频建模;MSF-Mamba 进一步补上运动感知和局部时空状态融合。
2. 医学影像
这是 Vision SSM 落地最密集的方向之一:
- 2D/3D 器官与病灶分割:U-Mamba、VM-UNet、SegMamba、Swin-UMamba、CFG-MambaNet、GL-Mamba UNet 等;
- 医学检测、血管分割、超声 / 内镜 / 皮肤镜 / 病理图像分析;
- 3D 体数据处理:用线性复杂度规避 3D Transformer 在百万体素上的显存爆炸;
- 文本引导、半监督分割:TG-MUNet 这类把语言语义接进 Mamba 解码路径。
3. 遥感图像
- 语义分割、目标检测、去雾、 pansharpening(全色锐化)、高光谱超分与异常检测;
- 已有面向遥感的 Mamba 基础模型探索(如 RoMA),并出现专门的遥感 Vision Mamba 综述,系统梳理约百篇遥感相关研究。
4. 底层视觉与生成
- 超分辨率、图像复原、去噪、去模糊;
- 图像压缩网络(如 MambaVC)、基于 SSM 的生成与编辑结构;
- 点云、3D 姿态估计等三维感知任务也在逐步接入 Mamba-ND 这类多维扫描设计。
六、当前主要挑战
把各综述和最新论文里提到的瓶颈归一下类:
- 二维结构保持问题:一维序列化天然撕裂空间邻接,固定扫描路径在物体斜向、弯曲延伸时容易割裂目标。
- 局部与全局难兼顾:局部扫描保细节但视野窄,全局扫描长程强但容易丢局部纹理,窗口化和多路径组合是主流折中方案。
- 因果性与视觉非因果的矛盾:图像 token 之间没有先后因果关系,原始 Mamba 的因果递归不直接适配,需要双向、多向或非因果改造。
- 训练稳定性与扩展问题:部分 Mamba 骨干在放大到深层、大宽度时出现不稳定,需要 register token、傅里叶通道建模等辅助设计。
- 扫描鲁棒性:固定路径对旋转、形变敏感;自适应扫描增加了学习复杂度和调参成本。
- 工程与部署:线性复杂度是理论上的,实际吞吐仍依赖并行扫描的硬件实现;边缘设备上还需要模型压缩。
- 细粒度局部细节:VSSD 等非因果方案被指出在捕捉精细局部纹理上仍偏弱。
七、后续值得关注的方向
- 原生二维 / 三维状态更新,而不是靠多条一维扫描拼回多维;
- 自适应、对象感知的扫描路径,按输入内容分配扫描区域;
- 递归动态显式参数化(极点、衰减率、时间尺度),让记忆行为可控可解释;
- 纯 Mamba2 / 因果式编码器,配合相对位置编码做任意分辨率、任意扫描顺序的尺寸无关视觉编码器;
- SSM 与卷积、注意力、频域模块的混合配比优化;
- 面向高分辨率基础模型、长视频和 3D 医学体数据的大规模预训练与跨域泛化。
总体看,Vision SSM 目前还处在快速迭代期:骨干层从双向单路径走到四方向扫描、窗口扫描、动态扫描;应用层从分类检测扩散到医学、遥感、底层视觉和多模态;评价层也开始从单点精度转向效率、鲁棒性、稳定性和部署成本的综合对比。它短期内更像是 CNN/ViT 之外的效率补充和长序列专用架构,能不能成为下一代视觉基础模型的主干,取决于二维建模能力、大规模训练稳定性和硬件实现这几个坎能不能一起迈过去。
【相关 FAQ】
问题 1:Vision SSM(视觉状态空间模型)和 Vision Transformer 最大的区别是什么?
回答 1:核心区别在建模机制和复杂度。Vision Transformer 用自注意力让所有 token 两两交互,能力强但计算量随 token 数呈二次增长;Vision SSM 用隐状态递归加选择性扫描做长程依赖传递,时间和显存近似线性复杂度,推理时还能保持常数内存,更适合高分辨率图像、长视频和 3D 体数据这类长序列视觉场景。代价是 Vision SSM 需要额外设计扫描策略来弥补二维结构信息的损失。
问题 2:Vision SSM 为什么一定要研究扫描策略?扫描方式对模型效果影响很大吗?
回答 2:影响很大。Vision SSM 继承了 Mamba 的一维序列处理方式,但图像是二维的,扫描路径决定了哪些相邻 patch 会在序列里挨着,也就决定了 SSM 短程递归能学到什么局部结构。横扫、连续蛇形、窗口局部扫描各有取舍;最新研究证明扫描顺序会显著改变空间邻接关系、割裂物体连续性,并在旋转等变换下放大性能退化,所以自适应扫描、环扫描这类方案才成了 Vision SSM 的重点改进方向。
问题 3:目前 Vision SSM 主要落地在哪些视觉任务上?医学影像是不是用得最多?
回答 3:通用任务上覆盖图像分类、目标检测、实例分割、语义分割和视频动作识别;专业领域里医学影像是落地最密集的方向,包括 2D/3D 器官病灶分割、血管分割、医学检测和文本引导半监督分割;此外还有遥感分割检测、超分复原、图像压缩、点云和姿态估计。医学影像用得多,主要是因为 3D 体数据分辨率高、Transformer 显存压力大,正好对上 Vision SSM 线性复杂度的优势。
问题 4:Vision SSM 已经全面取代 CNN 和 ViT 了吗?它现在还有哪些短板?
回答 4:还没有。Vision SSM 在效率和长程建模上有明显优势,但在部分基准上还没有全面超过最强 CNN 和 ViT。当前短板包括:一维序列化破坏局部空间邻接、固定扫描对旋转形变敏感、因果递归与视觉非因果属性不匹配、深层训练稳定性一般、细粒度局部纹理偏弱,以及实际吞吐仍依赖并行扫描的硬件工程实现。短期定位更像是混合架构里的长程模块和长序列场景的专用骨干,而不是全方位替代。
【参考资料】
- [2026-08-22](GL-Mamba UNet: Global-to-Local Context-Guided Vision Mamba for Medical Image Segmentation)ACM Digital Library
- [2026-07-16](从序列到视觉:状态空间模型与视觉架构融合的全面综述与前沿展望)汉斯出版社(Computer Science and Applications)
- [2026-07-07](Awesome-Vision-Mamba-Models 论文清单:覆盖医学、遥感、底层视觉等 Vision Mamba 应用)GitHub
- [2026-06-15](TG-MUNet: A Lightweight Text-Guided Mamba Unet for Semi-Supervised Medical Image Segmentation)ACM Digital Library
- [2026-05-11](TCP-SSM: Efficient Vision State Space Models with Token-Conditioned Poles)arXiv
- [2026-02-04](Partial Ring Scan: Revisiting Scan Order in Vision State Space Models, PRISMamba)arXiv
- [2026-01-31](CFG-MambaNet: Contextual and Frequency-Guided Mamba Network for medical image segmentation)npj Digital Medicine
- [2025-11-19](MambaEye: A Size-Agnostic Visual Encoder with Causal Sequential Processing)arXiv
- [2025-10-14](MSF-Mamba: Motion-aware State Fusion Mamba for Efficient Micro-Gesture Recognition)arXiv
- [2025-02-11](A Survey on Mamba Architecture for Vision Applications)arXiv
- [2025-02-10](DAMamba: Vision State Space Model with Dynamic Adaptive Scan)arXiv
- [2024-06-28](A Survey on Visual Mamba)arXiv / Applied Sciences
- [2024-05-07](Vision Mamba: A Comprehensive Survey and Taxonomy)arXiv
- [2024-04-26](A Survey on Visual Mamba:计算机视觉 Mamba 模型首篇综合综述)arXiv
- [2024-01-01](Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model, Vim)OpenReview / ICML 2024
【免责声明】
本文为基于公开学术论文、综述与项目资料整理的方法综述性内容,所引用的模型性能数据、参数量、FLOPs、精度指标均来自对应原始文献或其公开实验结果,不同数据集、训练设定和硬件环境下结果不可直接横向比较。文中涉及的研究方向判断与趋势分析仅代表当前文献梳理下的客观归纳,不构成任何选型、部署或投资建议;论文结论以各出处原文为准,如有疏漏或表述偏差,以原始发布渠道为准。
本文来自作者[残流巡域]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2684.html
评论列表(4条)
我是岳鹿科技网的签约作者“残流巡域”!
希望本篇文章《A Survey of Vision State Space Models |视觉状态空间模型方法综述》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:视觉状态空间模型(Vision SSM Vision Mamba)方法综述:从骨干架构、扫描策略到视觉应用全景