[发明专利]一种通过修改扩散模型轨迹进行图像补全的方法和系统

说明书

本发明提出了一种通过修改扩散模型轨迹进行图像补全的方法和系统，属于图像补全领域。包括：通过可训练的神经网络将部分遮盖后的样本图像映射到原始图像空间；对原始图像进行采样，得到采样图像；根据采样图像计算图像补全网络的损失；根据图像补全网络的损失，更新图像补全网络参数和可训练的神经网络参数；利用训练好的神经网络和图像补全网络，逆向生成遮盖图像的补全结果。本发明采用了更加灵活的和可操控的扩散轨迹进行建模，相比于原本扩散模型使用的固定的扩散轨迹，极大地提升了扩散模型的容量，在图像补全上取得了更好的效果。

技术领域

本发明涉及图像补全领域，尤其涉及一种通过修改扩散模型轨迹进行图像补全的方法和系统。

背景技术

图像补全是计算机视觉中一个重要的研究方向，给定一个部分区域被遮盖的图像(遮罩图像)，图像补全要求根据图像未被遮盖区域的信息，来预测并填补被遮盖的区域，使得修复后的图像看起来非常自然，没有明显地拼接和认为修改的痕迹。图像补全的方法主要分为两类：一类是纹理合成方法，其核心是从图像未被遮盖区域采样相似像素块填充待补全区域；另一类是基于神经网络的生成模型，根据图像未被遮盖区域的特征，生成语义一致的补全图像。

近年来，扩散生成模型被提出并在学术界和工业界备受关注。扩散生成模型是在非平衡态热力学的启发下被提出的，非平衡热力学也称为不可逆过程的热力学，主要研究对象包括热传导、物质的扩散等，其中一个主要问题就是演化动力学问题，它要解决微观可逆与宏观不可逆的矛盾。应用到生成模型领域，可以认为数据都是各种变量在外力作用下达到的一种平衡状态，当这种外力消失时，变量会进行自由的扩散，就像粒子的布朗运动一样。通过模拟这个扩散的过程，通过迭代的方法，有规律地、缓慢地摧毁原始数据的分布，使得原始数据分布趋向于一个更加自然的、简单的、容易计算的分布，理论上任何复杂的原始分布都可以通过这一过程被转化为这种简单的分布。拿图像举例，通过不断对每个像素的值做扩散操作，最终这个图像就变成了一张高斯噪声图。微观上，只要每步扩散的程度足够小，扰动足够小，那么它就是可逆的，任务就是去定量估计这个扰动的过程，这比直接显式地建模原始数据分布要简单很多。只要模型学会了扩散的逆向操作，那么任何从简单分布中采样的样本都可被逆转回原始分布中，即生成了一个服从原始分布的样本，这个过程就是生成模型的过程。

现有的扩散生成模型预定义一个固定的前向过程，再训练神经网络拟合前向过程的逆过程，从而得到一个生成模型。现有的条件扩散生成模型在神经网络的训练时引入条件的建模，拟合的目标还是预定义的固定的前向过程的逆，对于图像补全来说，即将遮罩图像作为条件输入到逆向过程的神经网络中作为条件，但这种方法极大地限制了模型在图像补全任务上的训练效率和性能表现。

发明内容

为了克服上述问题，本发明提出了一种通过修改扩散模型轨迹进行图像补全的方法和系统，在对遮罩图像作为条件的建模引入到前向过程中，不再使用原本的扩散模型预定义的固定的前向过程，而是通过对前向过程扩散轨迹进行偏移，提高了训练效率和性能表现。

为了实现上述目的，本发明采用的技术方案是：

第一个目的，本发明提出了一种通过修改扩散模型轨迹进行图像补全的方法，包括以下步骤：

步骤1，通过可训练的神经网络将部分遮盖后的样本图像映射到原始图像空间；

步骤2，对原始图像进行采样，得到采样图像x_t，采样公式为：

其中，t～Uniform({1,…,T})，T为预设的总扩散步数，x_t表示第t步的采样图像，c表示部分遮盖后的样本图像，x₀表示原始图像，k_t表示控制扩散轨迹偏移模式的系数，f(·)表示可训练的神经网络，∈表示采样时添加的符合标准高斯分布的噪声，表示前t步的噪声累积；

步骤3，根据采样图像计算图像补全网络的损失，损失函数为：