专访上交大牛力团队 ECCV 2026 新作：基于上下文学习的区域拖拽模型，重塑 ...

—借双翅膀—44

突破点对控制局限，ECCV 2026 重磅开源 ICRDrag，重塑任意区域图像拖拽。
作者丨张   璐
编辑丨齐铖湧
还在用 DragGAN 或 DragDiffusion 辛苦点选、修图吗？
玩过 AI 拖拽编辑的朋友大都深有体会：传统点拖拽因控制信息过于稀疏，想要精准对齐往往只能“碰运气”；而之前引入掩码的区域拖拽虽然能提供密集的几何约束，却极易在拖拽后产生视觉断层，面对复杂变形时也难免走样。
今天，拖拽编辑容易变形、边界割裂、细节丢失的时代宣告结束了！
来自上海交通大学牛力实验室的全新力作 ——ICRDrag（In-Context Region-based Drag）横空出世。


论文地址：https://arxiv.org/pdf/2606.25907
项目地址：https://github.com/bcmi/ICRDrag-Region-Drag-Editing
这些年，牛力实验室的研究重心主要集中在图像生成和编辑领域，在图像合成/物体插入 (Image Composition / Object Insertion)、少样本图像生成 (Few-shot Image Generation)等子领域产出了诸多代表性学术成果。
最近，该实验室正全力聚焦于精细化图像编辑、生成模型的后训练、理解生成一体化模型的前沿探索。
此次发表的ICRDrag则是团队在“精细化图像编辑”方向上的又一里程碑式工作。
作为 ECCV 2026 的重磅研究，它首创了上下文区域拖拽模型，用掩码精准定位局部，让移动、缩放、变形全都丝滑自然。
01


效果展示：多场景拖拽效果直观对比

先来看一组直观的编辑效果。
下图中，蓝色掩码为源区域，红色掩码为目标区域。我们的核心目标是将源区域丝滑地拖拽至目标区域，而其他非编辑区域则保持细节不变。


无论是人像姿态、宠物动态，还是日常静物的形状调整，ICRDrag 都能轻松拿捏。
更强的是，它支持多区域协同与“锚点”锁定：
在实际操作中，你最多可以同时画出5 对不同的源区域和目标区域。如果担心其他地方跟着走样，只需在不需要变动的地方随手点几个“锚点”作为锁定区域，AI 就会乖乖听话。
该项目已开放 Demo 体验！ 欢迎点击链接或复制到浏览器直接上手：https://drag.ustcnewly.com/
02


技术解密：
ICRDrag 实现高精度编辑的核心

能有如此惊艳的效果，得益于 ICRDrag 从底层重构了拖拽编辑的控制逻辑。它带来了五大核心技术突破：
▎全新的上下文学习框架
基于先进的DiT（Diffusion Transformer）框架，一次性把“原图”、“源区域掩码”和“目标区域掩码”喂给模型，直接一步到位输出编辑后的图片，从根本上避开了繁琐的中间步骤。
▎图像与掩码的“注意力一致性”（IMAC）
生成新图像时，AI 会严格约束注意力分布，让图像特征与掩码轮廓强行“对齐”。这就保证了生成的画面绝不会溢出或脱离你划定的空间边界。
▎图与目标图的“双向注意力”（STAC）
让目标物体“看向”原图对应区域，同时让原图区域“反向关注”目标物体。通过这种双向奔赴的关联，确保物体在形变、移动后，依然是“它自己”，不会变异。
为了证明上面这两个约束不是“玄学”，研究团队直接把模型内部的注意力图（Attention Map）给扒了出来：

• 
  不加 IMAC 约束：AI 虽然知道该看哪，但代表空间结构的掩码注意力（Mask Attn）四处飘散，导致最后的修改和你的选区“对不准”。
  
  
• 
  不加 STAC 约束：目标区域的注意力会散落到无关的背景或五官上，导致细节严重丢失、人脸变形（如上图 w/o STAC 所示）。
  
  
• 
  双重 Buff 叠满（ICRDrag）：注意力精准锁死，目标和源区域强力互锁。这就是它能做到“精准形变、不丢细节”的底层黑魔法！
  
  

▎给图像和掩码定制“专属 LoRA”
图像重在纹理细节，掩码重在空间轮廓，两者性质差别极大。为此，ICRDrag 贴心地为图像和掩码分支定制了独立的专属 LoRA，各司其职，细节与轮廓两手抓，避免了特征污染。
▎分阶段课程式训练（手残党福利！）
实际修图时，大家随手画的掩码往往比较粗糙。为了解决这个问题，模型采用了渐进式两阶段训练：

• 
  第一阶段：用规范、完整的语义掩码教学，让模型学会变换的底层逻辑；
  
  
• 
  第二阶段：引入随机膨胀的“稀疏不完整掩码”，模拟用户真实手绘的粗糙选区。 哪怕你画得再潦草，AI 也能精准秒懂你的真实意图！
  
  

03


极限挑战：
大形变、大位移与跨界测试

传统拖拽软件遇到“非刚性大形变”或者“人体肢体大范围位移”往往直接“骨折”。但 ICRDrag 在这些极限场景下依然稳如泰山。
研究团队在挑战性极高的非刚性编辑（如人像大角度转头、肢体被遮挡后的复原等）中进行了测试：


不仅如此，为了测试模型的泛化能力，团队还在从未参与过训练的Adobe Stock真实图库上进行了跨域测试，表现同样惊艳：


04


业界首创：
大规模区域拖拽数据集 PRD

在过去，限制该领域发展的一大痛点就是“缺乏数据”。
为此，研究团队基于百万级视频数据集 OpenVid，打造了首个大规模区域拖拽数据集 PRD (Paired Region Dataset)，彻底填补了行业空白：

• 
  超大训练集：包含28.7万组高质量「原图 + 源掩码 + 目标图 + 目标掩码」配对样本。
  
  
• 
  评测基准 PRDBench：精选1000 组人工校验的高质量样本，同时标注了掩码与关键点，可用于公平对比点拖拽和区域拖拽模型。
  
  

这一技术的突破，无疑是广大设计师、摄影师以及修图爱好者的超级福音：

• 
  人像后期：框选人脸、四肢，自由调整身材比例、五官和姿态，绝不脸塌、绝不骨折。
  
  
• 
  静物与产品设计：随意拖拽商品位置、放大缩小，且无需重新手动调整光影，背景自然融合。
  
  
• 
  构图优化：移动画面中的主体（如人物、建筑、植物），AI 会自动无缝填充背景，不留痕迹。
  
  
• 
  创意视觉设计：打破常规，自由扭曲物体轮廓，轻松实现各种天马行空的形变创意。
  
  

从早期的点对微调到如今的上下文区域控制，图像局部精准编辑的演进不仅是控制信号由稀疏到密集的转变，更是生成模型对空间几何与纹理特征理解深度的一次跨越。
上海交通大学牛力实验室提出的ICRDrag，通过优雅的图像-掩码一致性约束，为我们展示了基于 DiT 架构实现零畸变、高保真局部编辑的巨大潜力。
目前，ICRDrag 的论文、代码及在线体验 Demo 均已正式开源。无论是希望一窥其算法奥秘的科研同行，还是渴望在日常设计中解放生产力的创作者，都不妨亲自上手，体验一次“指哪改哪”的丝滑编辑。
图像可控生成的前沿探索仍在继续，而 ICRDrag 的诞生无疑为通往“完美局部创作”的道路铺下了坚实的一砖。
05

对话 ICRDrag 团队：
资源受限下的学术突围与图像编辑的未来
▎Q1：为什么当时会想到放弃火热的“基于点对的拖拽”，转向做“基于区域的拖拽”？
答：图像拖拽编辑最早是由 DragGAN 带火的，但当时业界几乎全都是基于点对（画成对的起点和终点）的拖拽模型。我们实验室刚开始也顺着这个方向做了一段时间，但发现效果并不理想。
后来我们意识到，如果想要更精确的图像编辑，基于区域对（画源区域和目标区域）的控制才是更有意义、且当时做的人相对较少的方向。虽然没有现成的数据集，但换到基于 DiT架构的上下文学习后，许多以前在传统 UNet 架构下不 work 的图像编辑任务都变得 work 了，这也证明了我们技术路线的选择是正确的。
▎Q2：面对 Adobe、字节等大厂在算力和资源上的“正面硬刚”，高校实验室如何实现“四两拨千斤”？
答：核心在于寻找大模型目前解决不了的痛点。像现在的banana, GPT-image 已经非常强大，但让它做这种精细的区域拖拽它还是会出很大的问题。
我觉得学术界和工业界应该是这样一种配合关系：学术界负责验证可行性，做出 Demo 或原型（Prototype）；工业界则负责在此基础上 Scale up，把训练数据和模型参数堆上去，做成泛化性极强的通用模型。像我们这次只用了 28 万对训练图片，如果后续有工业界实验室感兴趣，我们非常希望能合作把它扩展到 280 万甚至 2800 万的规模，做出真正通用的落地模型。
▎Q3：我们注意到，ICRDrag 作为一个 2D 拖拽模型，在处理大角度转头或肢体形变时，居然表现出了极佳的“3D意识”。这是怎么做到的？
答：这主要是从视频训练集中学到的“先验知识”。因为我们构建数据集时用到了大量的视频数据，而视频本身就天然包含着姿态调整、视角转换等大量的连续帧信息。基于这些丰富的视频配对数据进行训练，模型在进行 2D 图像编辑时，也就顺理成章地学到了这种 3D 变化的效果。
▎Q4：目前在 A6000 显卡上生成一张图需要约 35 秒，针对这个速度瓶颈，未来团队有什么优化和落地计划？
答：30多秒的延迟如果直接放在网页或 App 上，确实容易让用户产生焦虑，所以速度优化是我们后续的重点。
我们会考虑探索更轻量化的模型架构，也可以通过引入稀疏注意力来减少计算量，或者借助跨步采样的 LoRA，让模型用极少的步数就生成出高质量的图像。此外，模型量化、剪枝等常规加速手段我们也都会逐步尝试，让它更接近实用标准。
▎Q5：现在很多人觉得未来纯靠文字对话就能完美修图，你认为未来文字控制和空间拖拽控制会走向怎样的融合？
答：完美的图像编辑大模型，未来必然是多模态引导条件并存的。
纯文本指令固然最方便，但它天然无法做到像素级的精细控制。因此，除了文本，未来模型必然会融合空间布局图、深度图、关键点等结构性引导，而我们正在做的区域拖拽（成对的掩码引导），则是精细控制中更复杂的引导条件。
近期我们也有两个明确的拓展方向：一是将“基于点对的拖拽”和“基于区域的拖拽”在底层统一到同一个模型中；二是精准隔离拖拽时的“因果关系”，做到“该跟着变的地方（比如拉动鼻子，下巴跟着变）变，不该变的地方（比如背景）坚决保持不变”。
上车，带你看遍全球 AI 顶会精华
可独家畅览：
专家演讲PPT
大会报告全文
热门论文解读
学术新星访谈
未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！
公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。