《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models》这篇综述,以 SAM 系列为代表的可提示分割基础模型为对象。这类模型依靠点、框、文本、掩码提示来输出分割掩码,零样本通用性很强,但直接放到医学影像、遥感、工业检测等垂直领域,域偏移会造成边界差、漏分割;全部重训成本高、容易遗忘通用能力。文章把整个方向分成两大主线:提示策略工程、模型适配方案,对比不同方案在标注成本、显存开销、推理自动化程度之间的取舍,给垂直落地提供路线图。
一、提示(Prompting)体系分类
- 几何提示:点、包围框、草图、掩码,是 SAM 原生交互方式,适合人工交互式标注。
- 文本 / 语言提示:用描述词指定目标,对应指代分割、开放词汇分割。
- 自动提示生成:检测器、原型学习、弱监督先验自动产出提示,实现无人交互全自动分割。
- 多模态融合提示:同时结合图像特征、语言、空间先验,降低单种提示带来的不稳定。
- 提示优化:提示位置、数量、正负样本筛选,缓解模型对提示位置敏感的问题。
二、模型适配(Adaptation)主流路线
- 全参数微调:效果上限高,缺点是算力大、容易覆盖通用预训练知识,跨域泛化变差。
- 参数高效微调 PEFT:Adapter、LoRA、提示编码器微调,冻结图像主干,只训练少量参数,兼顾通用性和领域适配。
- 测试时自适应 TTA:训练阶段不动,在推理时根据当前图像动态调整归一化、特征、提示,适合标注稀缺场景。
- 自提示 / 上下文分割:不更新权重,依靠少量支持样本、内部特征做一次性适配,属于少样本路线。
- 混合方案:自动提示 + 轻量适配器,是工业、医学里最常用的落地组合。
三、典型应用场景痛点
- 医学影像:对比度低、结构密集、标注昂贵,人工逐点提示效率太低,对自动提示需求强。
- 遥感影像:尺度变化极大、多时序变化,普通几何提示很难稳定定位目标。
- 工业缺陷:缺陷形态不规则、样本稀缺,提示容易指向背景噪声。
- 视频分割:需要跨帧一致性,单帧独立提示会造成掩码闪烁、目标丢失。
四、综述总结的核心挑战
- 提示敏感性:提示稍微偏移,分割结果就明显变化,鲁棒性不足。
- 模拟‑真实分布差:自然图像预训练分布和专业领域图像不一致。
- 自动化与精度矛盾:全自动提示经常不如人工提示精准;人工提示又没法批量跑。
- 评估基准不统一:有的指标看 mIoU,有的看 Dice,不同论文结果很难横向对比。
- 边界歧义:模糊、弱边缘物体很难被提示引导到理想轮廓。
五、未来方向预判
- 概率化、不确定性感知提示分割,输出掩码置信度。
- 因果提示工程,减少虚假相关性带来的错误分割。
- 跨模态统一提示接口,统一语言、点框、参考样本。
- 面向 3D、时序视频的提示与适配框架。
- 轻量化、可部署的自动提示 + 轻量适配组合方案。
【相关 FAQ】
问题 1:这篇提示分割基础模型适配与提示方法综述里,“可提示分割基础模型” 指什么?
回答 1:以 SAM、SAM2 等为代表,接收点、框、文本、掩码这类提示作为意图输入,动态输出目标分割掩码,支持零样本交互分割的视觉基础模型。
问题 2:提示策略和模型适配在该综述里分别解决什么问题?
回答 2:提示策略解决 “怎么告诉模型分割哪个目标”,适配解决 “让通用模型适应新领域图像分布”;前者偏向推理交互,后者偏向迁移能力改造。
问题 3:自动提示生成在提示分割基础模型里适合什么场景?
回答 3:适合没有人工交互的批量自动化分割,例如大批量医学切片、遥感图、工业质检;代价是提示质量不稳定,复杂目标容易出错。
问题 4:PEFT 适配相比全参数微调,在提示分割基础模型上优势是什么?
回答 4:参数量、显存开销更低,保留基础模型通用分割能力,灾难性遗忘风险更小,更适合垂直领域低成本迁移。
【参考资料】
[2026-11-22](A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models 导读)阿里云开发者社区
[2023-04-05](Segment Anything)Meta Research
[2025-07-09](Prompt Engineering in the Segment Anything Model: Methodologies, Applications, and Emerging Challenges)arXiv
[2024-08-28](Image Segmentation in Foundation Model Era: A Survey)arXiv
[2025-12-08](A Survey for Point Prompt of Segment Anything Model)ACM MM Asia
【免责声明】
本文是综述科普解读,不是原文严格论证。提示分割效果受提示方式、领域数据、适配器设计、评估指标共同影响;落地前需要在业务数据集上独立验证。
本文来自作者[虹海侦录]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2681.html
评论列表(4条)
我是岳鹿科技网的签约作者“虹海侦录”!
希望本篇文章《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Mode》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:《A Survey on Adaptation and Prompting for Promptable Segmentation Foundation Models》这篇综述,以 SAM 系列为代表的可提示分割基础模型为对象。这类模型依靠点、框、文本、掩码提示来输出分割掩码,零样本通用性很强,但直接放到医学影像、遥感、工业检测等垂直领域,域偏移会造成边界差、漏分割;全部重训成本高、容易遗忘通用能力。文章把整个方向分成两大主线:提示策略工程、模型适配方案,对比不同方案在标注成本、显存开销、推理自动化程度之间的取舍,给垂直落地提供路线图。