[发明专利]基于模型先验的图像补全方法、系统、设备及存储介质

说明书

本申请实施例公开了一种基于模型先验的图像补全方法、系统、设备及存储介质。本申请实施例提供的技术方案，通过获取缺失图像以及缺失图像的指定补全区域信息；进而将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像。其中，该图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛。该预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本。采用上述技术手段，可以提供更真实且多样的图像补全结果，提升图像补全模型补全图像的多样性。

技术领域

本申请实施例涉及计算机视觉技术领域，尤其涉及一种基于模型先验的图像补全方法、系统、设备及存储介质。

背景技术

目前，图像补全技术广泛应用于短视频、直播等各种场景中。图像补全技术(imageinpainting)是计算机视觉领域的一个重要的技术方向，其用于将图像不可见或者缺失部分补全，同时让整个图像合理，没有违和感，使补全后的图像尽量真实。现有的图像补全技术主要基于图像补全模型实现，图像补全模型基于生成对抗网络构建。通过训练基于生成对抗网络的图像补全模型，训练时随机遮罩一些区域用于补全，从而实现图像补全。

但是，现有简单通过遮罩图像部分区域进行模型训练得到的图像补全模型，其补全图像相对较为单一，缺乏多样性。以此得到的补全图像，其补全效果相对较差，容易导致补全图像存在违和感。

发明内容

本申请实施例提供一种基于模型先验的图像补全方法、系统、设备及存储介质，能够提升补全图像的多样性，提升图像补全效果，解决现有图像补全模型补全图像效果单一、违和的技术问题。

在第一方面，本申请实施例提供了一种基于模型先验的图像补全方法，包括：

获取缺失图像以及缺失图像的指定补全区域信息；

将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；

预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。

在第二方面，本申请实施例提供了一种基于模型先验的图像补全系统，包括：

获取模块，配置为获取缺失图像以及缺失图像的指定补全区域信息；

补全模块，配置为将缺失图像和指定补全区域信息输入预构建的图像补全模型，输出缺失图像的补全图像，图像补全模型以预训练模型收敛时的模型参数作为初始模型参数，并基于预训练模型的训练样本以及预训练模型生成的先验样本进行图像补全训练，直至图像补全模型收敛；预训练模型预先基于训练样本进行图像补全训练，在预训练模型收敛后，基于预训练模型生成先验样本，先验样本包括加噪图像和对应加噪图像进行图像补全得到的多个去噪图像。

在第三方面，本申请实施例提供了一种基于模型先验的图像补全设备，包括：

存储器以及一个或多个处理器；

所述存储器，配置为存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于模型先验的图像补全方法。

在第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由计算机处理器执行时配置为执行如第一方面所述的基于模型先验的图像补全方法。