[发明专利]基于特征图最近邻替换的卷积神经网络的图像填充系统

摘要

基于特征图最近邻替换的卷积神经网络的图像填充系统，属于图像填充技术领域，解决了现有图像填充方法无法快速地获得整体语义一致且具有良好清晰度的填充图像的问题。所述系统：生成网络对待填充图像先编码后解码，得到已填充图像。生成网络的解码器包括N个反卷积层，对于第一反卷积层～第N‑1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和附加特征图共同作为下一反卷积层的输入对象。判别网络用于判断已填充图像是否为待填充图像对应的真实图像。

主权项

1.基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，所述图像填充系统包括生成网络和判别网络；

生成网络包括编码器和解码器，编码器包括N个卷积层，解码器包括N个反卷积层，N≥2；

生成网络通过对待填充图像先编码后解码的方式，得到已填充图像；

对于第一反卷积层～第N‑1反卷积层中的任意M个反卷积层，生成网络基于每个反卷积层的输出结果和该反卷积层对应的卷积层的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将每个反卷积层的输出结果、该反卷积层对应的卷积层的输出结果和得到的附加特征图共同作为下一反卷积层的输入对象；

判别网络用于判断已填充图像是否为待填充图像对应的真实图像，进而对生成网络的权重学习进行约束。

2.如权利要求1所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，编码器包括卷积层E₁～卷积层E₈，解码器包括反卷积层D₁～反卷积层D₈；

待填充图像为卷积层E₁的输入对象；

对于卷积层E₁～卷积层E₈，前者的输出结果在依次经批规范化和Leaky ReLU函数激活后，作为后者的输入对象；

卷积层E₈的输出结果在依次经批规范化和Leaky ReLU函数激活后，作为反卷积层D₁的输入对象；

反卷积层D₁的输出结果在经ReLU函数激活后作为反卷积层D₂的第一输入对象；

对于反卷积层D₂～反卷积层D₈，前者的输出结果在依次经ReLU函数激活和批规范化后，作为后者的第一输入对象；

反卷积层D₂～反卷积层D₈的第二输入对象依次为卷积层E₇～卷积层E₁的依次经批规范化和Leaky ReLU函数激活后的输出结果；

经Tanh函数激活后的反卷积层D₈的输出结果为已填充图像；

卷积层E₁用于对输入对象进行64个4*4、步长为2的卷积操作；

卷积层E₂用于对输入对象进行128个4*4、步长为2的卷积操作；

卷积层E₃用于对输入对象进行256个4*4、步长为2的卷积操作；

卷积层E₄～卷积层E₈均用于对输入对象进行512个4*4、步长为2的卷积操作；

反卷积层D₁～反卷积层D₄均用于对输入对象进行512个4*4、步长为2的反卷积操作；

反卷积层D₅用于对输入对象进行256个4*4、步长为2的反卷积操作；

反卷积层D₆用于对输入对象进行128个4*4、步长为2的反卷积操作；

反卷积层D₇用于对输入对象进行64个4*4、步长为2的反卷积操作；

反卷积层D₈用于对输入对象进行3个4*4、步长为2的反卷积操作；

生成网络基于反卷积层D₅的输出结果和卷积层E₃的输出结果，并采用特征图最近邻替换的方式得到附加特征图，并将该附加特征图作为反卷积层D₆的第三输入对象。

3.如权利要求2所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，生成网络基于反卷积层D₅的输出结果和卷积层E₃的输出结果，并采用特征图最近邻替换的方式得到附加特征图的具体过程为：

选取一个特征值均为0的待赋值特征图，该特征图与反卷积层D₅的输出特征图和卷积层E₃的输出特征图具有相等的通道数和相同的空间大小；

计算得到反卷积层D₅的输出特征图的掩膜区域和卷积层E₃的输出特征图的非掩膜区域，并同时将所述掩膜区域和所述非掩膜区域切割为多个特征块；

多个特征块均为长方体，其尺寸为C*h*w，其中，C、h和w分别为反卷积层D₅的输出特征图的通道数、长方体的长度和长方体的宽度；

对于所述掩膜区域中的每个特征块p₁，选取所述非掩膜区域的多个特征块中与特征块p₁距离最近的特征块p₂；

选取待赋值特征图中的待赋值区域，该待赋值区域与特征块p₁在反卷积层D5的输出特征图中的位置一致；

将特征块p₂的特征值赋予所述待赋值区域。

4.如权利要求3所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，特征块p₂与特征块p₁的余弦距离最近。

5.如权利要求4所述的基于特征图最近邻替换的卷积神经网络的图像填充系统，其特征在于，输出特征图的掩膜区域和非掩膜区域的计算方式为：

给定一幅掩码图像来替代待填充图像，掩码图像与待填充图像的尺寸相同，通道数为1，特征值为0或1；

0表示该特征点在待填充图像上的相应位置为非待填充点；

1表示该特征点在待填充图像上的相应位置为待填充点；

通过卷积网络来计算掩码图像的特征图的掩膜区域和非掩膜区域，该卷积网络包括第一卷积层～第三卷积层；

掩码图像为第一卷积层的输入对象；

对于第一卷积层～第三卷积层，前者的输出结果为后者的输入对象；

第一卷积层～第三卷积层均用于对输入对象进行1个4*4、步长为2的卷积操作；

第三卷积层的输出结果为掩码图像的特征图，其尺寸为32*32，通道为1；

对于掩码图像的特征图，当其一个特征值大于设定的阈值时，判定该特征点为掩膜点，否则，判定该特征点为非掩膜点；

掩码图像的特征图的掩膜区域为掩膜点的集合，掩码图像的特征图的非掩膜区域为非掩膜点的集合；

输出特征图的掩膜区域与掩码图像的特征图的掩膜区域相等，输出特征图的非掩膜区域与掩码图像的特征图的非掩膜区域相等。

6.如权利要求5所述的基于特征图最近邻替换