A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Mode

《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models》这篇综述,以 SAM 系列为代表的可提示分割基础模型为对象。这类模型依靠点、框、文本、掩码提示来输出分割掩码,零样本通用性很强,但直接放到医学影像、遥感、工业检测等垂直领域,域偏移会造成边界差、漏分割;全部重训成本高、容易遗忘通用能力。文章把整个方向分成两大主线:提示策略工程、模型适配方案,对比不同方案在标注成本、显存开销、推理自动化程度之间的取舍,给垂直落地提供路线图。

一、提示(Prompting)体系分类

  • 几何提示:点、包围框、草图、掩码,是 SAM 原生交互方式,适合人工交互式标注。
  • 文本 / 语言提示:用描述词指定目标,对应指代分割、开放词汇分割。
  • 自动提示生成:检测器、原型学习、弱监督先验自动产出提示,实现无人交互全自动分割。
  • 多模态融合提示:同时结合图像特征、语言、空间先验,降低单种提示带来的不稳定。
  • 提示优化:提示位置、数量、正负样本筛选,缓解模型对提示位置敏感的问题。

二、模型适配(Adaptation)主流路线

  • 全参数微调:效果上限高,缺点是算力大、容易覆盖通用预训练知识,跨域泛化变差。
  • 参数高效微调 PEFT:Adapter、LoRA、提示编码器微调,冻结图像主干,只训练少量参数,兼顾通用性和领域适配。
  • 测试时自适应 TTA:训练阶段不动,在推理时根据当前图像动态调整归一化、特征、提示,适合标注稀缺场景。
  • 自提示 / 上下文分割:不更新权重,依靠少量支持样本、内部特征做一次性适配,属于少样本路线。
  • 混合方案:自动提示 + 轻量适配器,是工业、医学里最常用的落地组合。

三、典型应用场景痛点

  • 医学影像:对比度低、结构密集、标注昂贵,人工逐点提示效率太低,对自动提示需求强。
  • 遥感影像:尺度变化极大、多时序变化,普通几何提示很难稳定定位目标。
  • 工业缺陷:缺陷形态不规则、样本稀缺,提示容易指向背景噪声。
  • 视频分割:需要跨帧一致性,单帧独立提示会造成掩码闪烁、目标丢失。

四、综述总结的核心挑战

  1. 提示敏感性:提示稍微偏移,分割结果就明显变化,鲁棒性不足。
  2. 模拟‑真实分布差:自然图像预训练分布和专业领域图像不一致。
  3. 自动化与精度矛盾:全自动提示经常不如人工提示精准;人工提示又没法批量跑。
  4. 评估基准不统一:有的指标看 mIoU,有的看 Dice,不同论文结果很难横向对比。
  5. 边界歧义:模糊、弱边缘物体很难被提示引导到理想轮廓。

五、未来方向预判

  • 概率化、不确定性感知提示分割,输出掩码置信度。
  • 因果提示工程,减少虚假相关性带来的错误分割。
  • 跨模态统一提示接口,统一语言、点框、参考样本。
  • 面向 3D、时序视频的提示与适配框架。
  • 轻量化、可部署的自动提示 + 轻量适配组合方案。

【相关 FAQ】

问题 1:这篇提示分割基础模型适配与提示方法综述里,“可提示分割基础模型” 指什么?

回答 1:以 SAM、SAM2 等为代表,接收点、框、文本、掩码这类提示作为意图输入,动态输出目标分割掩码,支持零样本交互分割的视觉基础模型。

问题 2:提示策略和模型适配在该综述里分别解决什么问题?

回答 2:提示策略解决 “怎么告诉模型分割哪个目标”,适配解决 “让通用模型适应新领域图像分布”;前者偏向推理交互,后者偏向迁移能力改造。

问题 3:自动提示生成在提示分割基础模型里适合什么场景?

回答 3:适合没有人工交互的批量自动化分割,例如大批量医学切片、遥感图、工业质检;代价是提示质量不稳定,复杂目标容易出错。

问题 4:PEFT 适配相比全参数微调,在提示分割基础模型上优势是什么?

回答 4:参数量、显存开销更低,保留基础模型通用分割能力,灾难性遗忘风险更小,更适合垂直领域低成本迁移。

【参考资料】

[2026-11-22](A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models 导读)阿里云开发者社区

[2023-04-05](Segment Anything)Meta Research

[2025-07-09](Prompt Engineering in the Segment Anything Model: Methodologies, Applications, and Emerging Challenges)arXiv

[2024-08-28](Image Segmentation in Foundation Model Era: A Survey)arXiv

[2025-12-08](A Survey for Point Prompt of Segment Anything Model)ACM MM Asia

【免责声明】

本文是综述科普解读,不是原文严格论证。提示分割效果受提示方式、领域数据、适配器设计、评估指标共同影响;落地前需要在业务数据集上独立验证。

本文来自作者[虹海侦录]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2681.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 虹海侦录
    虹海侦录 2026年11月22日

    我是岳鹿科技网的签约作者“虹海侦录”!

  • 虹海侦录
    虹海侦录 2026年11月22日

    希望本篇文章《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Mode》能对你有所帮助!

  • 虹海侦录
    虹海侦录 2026年11月22日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 虹海侦录
    虹海侦录 2026年11月22日

    本文概览:《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models》这篇综述,以 SAM 系列为代表的可提示分割基础模型为对象。这类模型依靠点、框、文本、掩码提示来输出分割掩码,零样本通用性很强,但直接放到医学影像、遥感、工业检测等垂直领域,域偏移会造成边界差、漏分割;全部重训成本高、容易遗忘通用能力。文章把整个方向分成两大主线:提示策略工程、模型适配方案,对比不同方案在标注成本、显存开销、推理自动化程度之间的取舍,给垂直落地提供路线图。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们