[发明专利]图像修复方法、装置及电子设备

权利要求书

1.一种图像修复方法，其特征在于，包括：

获取待修复图像及所述待修复图像上的目标区域；

利用包含扩展卷积层的第一网络对所述待修复图像中的目标区域进行图像预测，生成第一预测图像；

通过包含聚焦层的第二网络，对所述第一预测图像进行图像预测，生成第二预测图像，包括：在所述第二网络中设置第一计算通道和第二计算通道；利用所述第一计算通道，对所述第一预测图像执行关注度特征计算，得到第一计算结果；利用所述第二计算通道，对所述第一预测图像执行扩展卷积计算，得到第二计算结果；基于所述第一计算结果和所述第二计算结果的和，对所述第一预测图像进行图像预测；所述聚焦层含有待修复图像与原生图像之间的关注度值，所述关注度值通过将第一预测的特征图对应的图像矩阵中的元素与目标区域待修复内容的特征矩阵中的对应位置的元素进行乘法运算获得；

基于所述第二预测图像，对所述待修复图像进行图像修复。

2.根据权利要求1所述的方法，其特征在于，所述获取待修复图像及所述待修复图像上的目标区域，包括：

获取用户对于待修复图像的标注信息；

基于所述标注信息确定所述待修复图像中的待修复区域；

根据所述待修复区域生成掩码，根据所述掩码在所述待修复图像中确定所述目标区域。

3.根据权利要求1所述的方法，其特征在于，所述利用包含扩展卷积层的第一网络对所述待修复图像中的目标区域进行图像预测，生成第一预测图像，包括：

利用所述第一网络检测所述待修复图像上的目标区域；

根据检测出的所述目标区域，生成与所述待修复图像对应的掩模图像；

基于所述掩模图像，生成所述第一预测图像。

4.根据权利要求3所述的方法，其特征在于，所述基于所述掩模图像，生成所述第一预测图像，包括：

利用第一网络上的卷积层在所述掩模图像上进行滑动卷积窗口卷积计算，所述卷积计算采用预设尺寸的卷积核与所述掩模图像数据的局部数据进行加权求和运算；

利用第一网络上的激活层对所述卷积层的计算结果进行修正，所述激活层采用ReLu修正线性单元，通过激活函数max{0,x}对数据进行处理；

利用所述第一网络上的池化层对激活函数处理后的数据进行池化；

利用所述第一网络上的扩展卷积层对池化层输出的图像进行缩放处理，使得进行缩放处理之后的图像与待修复图像的大小一致。

5.根据权利要求1所述的方法，其特征在于，所述通过包含聚焦层的第二网络，对所述第一预测图像进行图像预测，包括：

利用所述第二网络中的卷积层，生成所述第一预测图的特征图；

对所述特征图中所述目标区域的对应区域执行关注度特征提取，形成所述目标区域待修复内容的特征矩阵；

基于所述特征矩阵，对所述第一预测图像进行图像预测。

6.根据权利要求5所述的方法，其特征在于，所述基于所述特征矩阵，对所述第一预测图像进行图像预测，包括：

将所述特征图对应的图像矩阵中的元素与所述特征矩阵中的对应位置的元素进行乘法运算，获得关注度矩阵；

利用所述关注度矩阵来对所述第一预测图像进行预测。

7.根据权利要求1所述的方法，其特征在于，所述利用包含扩展卷积层的第一网络对所述待修复图像中的目标区域进行图像预测之前，所述方法还包括：

对所述第一网络进行样本训练，其中，对所述第一网络进行样本训练具体包括：

获取多张包括掩盖标记的图像训练样本；

基于所述训练样本，利用所述第一网络对所述训练样本中的掩盖标记的图像进行预测，得到预测图像；

利用构建的最小化函数计算所述预测图像与掩盖标记区域图像之间的相似度值，直到所述第一网络收敛到预设值。

8.根据权利要求1所述的方法，其特征在于，所述基于所述第二预测图像，对所述待修复图像进行图像修复，包括：

将所述第二预测图像替换为所述目标区域的图像，从而完成对所述待修复图像的修复。