[发明专利]图像填充方法、装置、设备及存储介质

权利要求书

1.一种图像填充方法，包括：

由轮廓检测模块对待填充图像中的实例进行轮廓检测，获得所述待填充图像中的实例的轮廓边缘图，所述轮廓边缘图中包括至少一个缺失区域，其中，所述轮廓检测模块是利用第一类训练数据对神经网络进行训练而生成的，所述第一类训练数据包括：待填充图像和对应的轮廓边缘图；

基于第一掩模，由轮廓补全模块对所述轮廓边缘图进行轮廓补全处理，得到补全后的轮廓边缘图，其中所述第一掩模的感兴趣区域对应于所述至少一个缺失区域，其中，所述轮廓补全模块是利用第二类训练数据对神经网络进行训练而生成的，所述第二类训练数据包括：有缺失的轮廓边缘图和对应的补全后的轮廓边缘图；

基于所述补全后的轮廓边缘图，由图像填充模块对所述待填充图像进行填充处理，得到填充后的图像，其中，所述图像填充模块是利用第三类训练数据对神经网络进行训练而生成的，所述第三类训练数据包括：待填充图像与补全后的轮廓边缘图的拼接矩阵和对应的填充后的图像。

2.根据权利要求1所述的方法，其中，

所述补全后的轮廓边缘图与所述待填充图像各自对应矩阵的长宽维度相同，且图像通道数不同；

在所述基于所述补全后的轮廓边缘图，对所述待填充图像进行填充处理之前，所述方法还包括：

对所述补全后的轮廓边缘图的矩阵与所述待填充图像的矩阵在通道维度上进行拼接，以拼接后的矩阵作为所述填充处理的对象。

3.根据权利要求1所述的方法，在对待填充图像进行轮廓检测之前，所述方法还包括：

将目标图像中的目标区域去除，得到待填充图像，所述待填充图像中缺失的区域为待填充区域。

4.根据权利要求1所述的方法，其中，

所述补全后的轮廓边缘图中包括所述待填充图像中缺失部分的实例的轮廓信息；

所述基于所述补全后的轮廓边缘图，对所述待填充图像进行填充处理，包括：

基于所述补全后的轮廓边缘图中的所述缺失部分的实例的轮廓信息，对所述待填充图像进行填充处理。

5.一种图像填充装置，包括：

轮廓检测模块，用于对待填充图像中的实例进行轮廓检测，获得所述待填充图像中的实例的轮廓边缘图，所述轮廓边缘图中包括至少一个缺失区域，其中，所述轮廓检测模块是利用第一类训练数据对神经网络进行训练而生成的，所述第一类训练数据包括：待填充图像和对应的轮廓边缘图；

轮廓补全模块，基于第一掩模，由对所述轮廓边缘图进行轮廓补全处理，得到补全后的轮廓边缘图，其中所述第一掩模的感兴趣区域对应于所述至少一个缺失区域，其中，所述轮廓补全模块是利用第二类训练数据对神经网络进行训练而生成的，所述第二类训练数据包括：有缺失的轮廓边缘图和对应的补全后的轮廓边缘图；

图像填充模块，用于基于所述补全后的轮廓边缘图，由对所述待填充图像进行填充处理，得到填充后的图像，其中，所述图像填充模块是利用第三类训练数据对神经网络进行训练而生成的，所述第三类训练数据包括：待填充图像与补全后的轮廓边缘图的拼接矩阵和对应的填充后的图像。

6.根据权利要求5所述的装置，其中，

所述补全后的轮廓边缘图与所述待填充图像各自对应矩阵的长宽维度相同，且图像通道数不同；

所述装置还包括：

拼接模块，用于对所述补全后的轮廓边缘图的矩阵与所述待填充图像的矩阵在通道维度上进行拼接，并将拼接后的矩阵发送给所述图像填充模块。

7.根据权利要求5所述的装置，还包括：

预处理模块，用于在所述轮廓检测模块进行轮廓检测之前，将目标图像中的目标区域去除，得到待填充图像，所述待填充图像中缺失的区域为待填充区域。

8.根据权利要求5所述的装置，其中，

所述补全后的轮廓边缘图中包括所述待填充图像中缺失部分的实例的轮廓信息；

所述图像填充模块用于基于所述补全后的轮廓边缘图中的所述缺失部分的实例的轮廓信息，对所述待填充图像进行填充处理。