浅析扩散模型与图像生成【应用篇】(二十三)——Imagic_图像生成扩散模型最新

23. Imagic: Text-Based Real Image Editing with Diffusion Models

该文提出一种基于文本的真实图像编辑方法，能够根据纯文本提示，实现复杂的图像编辑任务，如改变一个或多个物体的位姿和组成，并且保持其他特征不变。相比于其他文本-图像编辑工作，Imagic具备更丰富的编辑方式，并且能够更好的保留编辑对象原有的特征。下面先展示一波结果，秀一下肌肉。可以看到编辑的效果非常逼真，而且是对图像中目标物体直接进行编辑，而不是重新生成一个新的对象。
在这里插入图片描述
基于扩散模型的文本-图像编辑和生成的基础理论我这里就不再赘述了，不清楚的可以参考本博客该专栏下的其他文章。笼统点来讲，我们要把输入的文本描述转化为一个嵌入式向量，并将其作为一种条件信息引入到图像生成过程中，从而实现图像的编辑。本文提出的方法包含三个步骤：文本嵌入特征的优化，扩散模型的微调，以及特征插值与图像生成，如下图所示。
在这里插入图片描述
首先，输入的文本描述经过一个文本编码器得到一个目标文本特征 $\mathcal{L}(\mathbf{x},\mathbf{e},\theta)=\mathbb{E}_{t,\epsilon}\left[\left\|\boldsymbol{\epsilon}-f_{\theta}(\mathbf{x}_{t},t,\mathbf{e})\right\|_{2}^{2}\right]$ 运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 博主您好为啥我最后的视差图结果非常的碎片化运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 我也是，为什么啊运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 以解决，还是看这个文章解决的，3.0以上的好像/出来是默认浮点数，在for循环里有过用了/，要像文章中说的改为//，就好了