[发明专利]图片修复方法及系统

权利要求书

1.一种图片修复方法，包括：

获取用户拍摄的图片及拍摄的图片的地点信息；

通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓将轮廓中的占据中心位置的对象或者占据较大比例的对象之外的其它对象所在的区域确定为填充区域；

根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；

通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复，

其中，对所述填充区域进行填充和修复的步骤包括：

通过粗糙网络coarse network对所述填充区域进行初步的填充和修复，获得初步修复图，并且通过细化网络refinement network根据参考修复图片对所述填充区域进行进一步的填充和修复，

其中，粗糙网络包括一个编码器和一个解码器，在编码器与解码器之间设置有特征提取卷积器，其中，特征提取卷积器运用空洞卷积进行特征提取，并且

其中，通过细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤包括：

通过细化网络的内容感知层Contextual Attention layer根据所述填充区域周围的信息对初步修复图进行卷积化，

通过细化网络的空洞卷积层对初步修复图进行卷积化，以提取所述初步修复图中的特征图信息，并且

通过细化网络的目标卷积层对初步修复图进行卷积化，

其中，细化网络的目标卷积层是通过深度学习对数据库中存储的被填充一部分的图片进行训练而获得的模型。

2.如权利要求1所述的方法，其中，拍摄的图片是进行拍摄时的预览图片或拍摄完成后获得的图片。

3.如权利要求1或2所述的方法，其中，通过语义分割确定拍摄的图片中的对象的轮廓的步骤包括：

通过全卷积神经网络进行语义分割；

其中，通过全卷积神经网络进行语义分割的步骤包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。

4.如权利要求3所述的方法，其中，根据对象的轮廓确定所述填充区域的步骤包括：

基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。

5.如权利要求4所述的方法，其中，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的步骤包括：

根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，

其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度,并且

其中，数据库中存储的图片为无任何人物干扰的纯景色图片。

6.如权利要求1所述的方法，其中：

细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被分配不同的权重，并且细化网络的内容感知层、空洞卷积层和目标卷积层的卷积化的结果所占据的权重根据参考修复图片与拍摄的图片的相似度被确定，

其中，参考修复图片与拍摄的图片的相似度越高，细化网络的目标卷积层的卷积化的结果占据的权重越大。

7.如权利要求6所述的方法，其中，细化网络根据参考修复图片对所述填充区域进行进一步的填充和修复的步骤还包括：具有不同权重的内容感知层、空洞卷积层和目标卷积层的卷积化的结果被合并输入到细化网络的解码器中，通过所述解码器对合并的结果进行反卷积来产生最后的修复后的图片。