纽约大学联合卡尔加里大学团队推出全新后训练方案 Deletion Tuning（删除调优），核心逻辑不是修改、新增权重，而是只挑选不到 0.05% 的权重直接置零，其余全部预训练权重保持原样不动，在监督微调、可验证奖励强化学习、同策略蒸馏三类主流后训练任务里，效果可以对标全参数微调 FFT，而且相比 LoRA、全量微调，它灾难性遗忘的问题轻很多，适配包只是一个二进制掩码文件，体积比常规微调权重小上千倍，这项研究已经被 NeurIPS 2026 收录，打破了大家默认 “想要模型学会新能力就必须改动大量参数” 的固有认知，它和普通模型剪枝不是一回事，普通剪枝是删掉权重、保住原有能力、压缩推理开销，Deletion Tuning 是把选择性删除权重本身当成训练手段，靠删掉一小部分权重，激活模型原本就潜藏在参数里的能力。

Deletion Tuning 基础信息清单

• 方案名称：Deletion Tuning（删除调优）
• 研究团队：纽约大学、卡尔加里大学
• 论文发布时间：2026-11-07，收录 NeurIPS 2026
• 操作范围：仅 Transformer 模块 gate 投影层权重，删除占比＜0.05%
• 核心操作：底座模型冻结，只学习二值掩码，部署时选中权重置零，其余权重不变
• 测试模型：Llama、Qwen 等，覆盖 0.5B~30B 参数规模
• 适配场景：SFT 监督微调、RLVR 可验证奖励强化学习、OPD 同策略蒸馏
• 核心优势：适配器体积极小、旧任务遗忘少、算力开销低

Deletion Tuning 和主流微调方式对比

Deletion Tuning 完整执行流程

1. 冻结整个预训练底座大模型，只针对 Transformer 块 gate 投影层设置可学习掩码标记
2. 训练阶段学习掩码，判定哪些权重需要保留、哪些需要置零，训练过程逐步把掩码收敛成 0/1 二值选择
3. 训练完成后输出比特掩码文件，这个文件就是全部适配信息
4. 部署阶段，把掩码加载到原模型，掩码标记为删除的权重直接置零，其余权重维持预训练原值
5. 直接测试新任务效果，不需要重新保存一份完整模型权重

这项技术的局限说明

1. 在 1B 这类小参数量模型上，Deletion Tuning 和全参数微调还有明显差距，大模型下效果才贴近 FFT
2. 当前实验只集中在 gate 投影层，不是所有层都能靠这个方式生效
3. 目前还是学术实验方案，还没有大规模落地到产业大模型线上部署
4. 它不是万能的，不是随便删 0.05% 权重就能变强，掩码的选择需要专门训练优化

【相关 FAQ】

问题 1：Deletion Tuning 是什么，为什么删除不到 0.05% 权重就能让 AI 大模型获得新能力？

回答 1：Deletion Tuning 是纽约大学团队提出的删除调优方法，它不改动大部分权重，只学习掩码、把不到 0.05% 的权重置零，依靠释放模型预训练阶段就存储的潜在能力，在大模型上达到接近全参数微调的效果，以此让 AI 大模型获得新能力。

问题 2：Deletion Tuning 和普通的模型剪枝是同一个东西吗？

回答 2：Deletion Tuning 和普通剪枝不一样，普通剪枝是删掉权重、压缩模型，保住模型已经有的能力；Deletion Tuning 是靠选择性删除不到 0.05% 权重作为训练手段，目标是让 AI 大模型获得新能力。

问题 3：Deletion Tuning 对比 LoRA 微调，优势在哪里？

回答 3：Deletion Tuning 的适配器只是比特掩码，文件体积远小于 LoRA 权重，同时 Deletion Tuning 在强化学习场景里，原有任务遗忘更少，旧任务精度保留更好，仅通过删除不到 0.05% 权重就能完成适配。

问题 4：Deletion Tuning 现在已经可以商用落地给大模型做微调吗？

回答 4：Deletion Tuning 目前属于 NeurIPS 收录的学术研究成果，在 0.5B~30B 大模型实验验证有效，但小模型效果不足，还没有大规模商用落地，想要靠删除不到 0.05% 权重给线上 AI 大模型新增能力还需要更多工程验证。

【参考资料】

[2026-11-15]（仅删除不到 0.05% 权重，AI 大模型就能获得新能力？纽约大学团队提出 Deletion Tuning）智源社区

[2026-11-14]（仅删除不到 0.05% 权重，AI 大模型就能获得新能力？纽约大学团队提出 Deletion Tuning）新浪财经

[2026-11-12]（Zeroing under 0.05% of a model's weights matched full fine-tuning）Traictory

[2026-11-10]（Deletion Tuning 仅删极少权重实现 LLM 后训练）沙丘社区

[2026-11-07]（The Surprising Effectiveness of Deleting Weights in LLM Post-Training）arXiv

【免责声明】

以上内容为 AI 学术论文信息整理，Deletion Tuning 属于前沿学术研究，尚未大规模商用；实验结论仅在论文给定模型与测试任务下成立，不代表所有大模型都可以通过删除不到 0.05% 权重稳定新增能力，不构成模型调优、产品开发指导，技术进展请以论文作者后续更新为准。