OMG: 在扩散模型中友好处理遮挡的个性化多概念生成

OMG: 在扩散模型中友好处理遮挡的个性化多概念生成

腾讯这个新研究，支持多角色多概念在一张图片中生成。以前的 ID 或者概念保持项目只能将一个人还原在图片里面，有了这个项目以后就可以多人合照了。

项目还支持与原有的 ID 保持项目一起使用比如 Lora 以及InstantID。代码已经开源，大佬们可以看看插件实现了。

项目介绍：

我们提出了一个名为OMG的新框架，它是专门为个性化生成设计的，并能友好地处理遮挡问题，能够在一幅图像中无缝集成多种概念。

我们的框架包含两个阶段：第一阶段专注于图像布局的生成和为处理遮挡而收集视觉理解信息；第二阶段则利用这些视觉理解信息，并结合精心设计的噪声混合技术，将多个概念融合在一起，同时考虑遮挡因素。

我们还发现，在噪声混合过程中选择合适的开始去噪时间点对于保持人物身份和图像布局至关重要

此外，OMG还能与多种单概念生成模型兼容，如LoRA和InstantID，无需额外调整。尤其值得一提的是，LoRA模型可以直接从这个网址获取并使用。