阿里达摩院刚刚开源了AnyDoor！零样本物体编辑！可实现物体移动、物体交换、虚拟试穿等...

大家好，我是阿潘，今天给大家分享一个阿里达摩院开源了 AnyDoor 的代码，不得不说，到年底了有点猛，疯狂的晒工作，感觉像是在冲业绩，这不得多拿好几个月的年终。

项目相关的链接整理在下面了：

https://damo-vilab.github.io/AnyDoor-Page/

https://github.com/damo-vilab/AnyDoor

https://arxiv.org/abs/2307.09481

标题：Anydoor: zero-shot object-level image customization

从标题可以大概知道这个工作主要实现的效果是零样本对物体级别的图片进行编辑

AnyDoor 介绍

摘要：

这项工作提出了 AnyDoor，一种基于扩散的图像生成器，能够以“和谐”的方式（图片整体和谐）将目标对象传送到用户指定位置的新场景。模型无需调整每个对象的参数，只需训练一次，即可在推理阶段轻松推广到不同的对象场景组合。这种具有挑战性的零样本设置需要对某个对象进行充分的表征。为此，我们用细节特征来补充常用的身份特征，这些细节特征经过精心设计，以保持纹理细节，同时允许多种局部变化（例如，照明、方向、姿势等），支持对象与不同环境的良好融合 。我们进一步建议借用视频数据集中的知识，我们可以观察单个对象的各种形式（即沿时间轴），从而获得更强的模型通用性和鲁棒性。大量的实验证明了我们的方法相对于现有替代方案的优越性，以及它在现实应用中的巨大潜力，例如虚拟试穿和物体移动。

部分展示效果：

将电视替换成狗狗书包

将床上的公仔替换成另一个公仔

将对上衣进行替换替换

具体能够实现的功能：

1、物体移动

AnyDoor 可以应用于诸如物体移动之类的奇特任务。‍

例如下面的图片中，实现对花瓶和木板的移动

2、物体交换

AnyDoor 还可以扩展来进行对象交换。

下面图片将两辆车的位置进行交换

3、Multi-subject Composition

由于 AnyDoor 对于将对象放置在给定场景的特定位置具有高度可控性，因此很容易扩展到多主体构图。

下面图片将不同的狗狗放在预设的图片位置，并且让生成的图片效果没有违和感。

‍4、虚拟试穿

AnyDoor 还可以作为虚拟试穿的简单但强大的基准。它可以保留不同衣服的颜色、图案和纹理，而不需要复杂的人工解析。

项目代码

具体的本地的环境搭建，作者已经公布了，并且权重和训练代码都已经提供，太赞了，小伙伴们，赶紧冲！

项目相关的链接整理在下面了：

https://damo-vilab.github.io/AnyDoor-Page/

https://github.com/damo-vilab/AnyDoor

https://arxiv.org/abs/2307.09481

最后，如果对大家有帮助，欢迎关注，点赞和分享！最近天气变冷了好多，大家要多注意身体哈

推荐阅读

为了突破深度学习瓶颈，去学习CUDA及TensorRT加速工具，真的管用吗？

人人都会铁山靠！Dreamoving：一种基于扩散模型的可控人体舞蹈视频生成框架