[发明专利]图片修复方法及系统

说明书

提供一种图片修复方法及系统，所述方法包括：获取用户拍摄的图片及拍摄的图片的地点信息；通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；根据用户拍摄的图片和拍摄的图片的地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；通过深度学习，根据参考修复图片，对填充区域进行填充和修复。根据所述方法，解决了在拍摄的图片中无关对象充斥图片的问题，使得修复的图片更符合拍摄地点的真实场景。

技术领域

本发明总体来说涉及图像处理领域，更具体地讲，涉及一种图片修复方法及系统。

背景技术

目前随着社交网络的发展以及手机拍摄性能的提高，越来越多的人选择手机作为自己的拍摄工具，并且将拍摄的图片作为纪念或与朋友分享，但是拍摄的图片中经常会有一些无关的对象影响拍摄的图片的效果。例如，外出旅行尤其是节假日出行时，各个著名的旅游景点人满为患，用户在景点拍摄的图片中充满了其他游客的身影，这严重地影响了拍摄的图片的效果和用户的体验。

当前的图片修复方法需要用户手动选择哪些区域进行背景填充或修复，例如，通过操作预览界面接收用户操作指令选择需要修图的区域，根据选择的需要修图的区域，通过物体跟踪算法，对需要修图的区域内物体做连续跟踪计算物体在相机预览中的位置，在预览界面对对应的需要修图的区域做遮盖或填充处理。此外，当前的图片修复方法相对简单粗糙，没有考虑实际的拍摄地点和场景的信息，只是根据选择的填充区域周围的像素情况进行填充或修复，导致最终的修复效果不自然或者与实际拍摄时候的场景信息相差甚远，例如，根据遮盖图片在预览界面的相对位置，在拍照图片中做同样处理；在拍照输出图片按照同样的比例叠加遮盖或填充拍照图片。

由此可见，需要一种能够解决在拍摄的图片中无关对象充斥图片的问题，使得修复的图片更符合拍摄地点的真实场景的图片修复方法。

发明内容

本发明的示例性实施例的一方面在于提供一种图片修复方法，所述方法包括：获取用户拍摄的图片及拍摄的图片的地点信息；通过语义分割确定拍摄的图片中的对象的轮廓，根据对象的轮廓确定填充区域；根据用户拍摄的图片和所述地点信息，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片；通过深度学习，根据参考修复图片，对所述填充区域进行填充和修复。

根据本发明的示例性实施例，拍摄的图片可以是进行拍摄时的预览图片或拍摄完成后获得的图片。

根据本发明的示例性实施例，通过语义分割确定拍摄的图片中的对象的轮廓的步骤包括：通过全卷积神经网络进行语义分割。

其中，通过全卷积神经网络进行语义分割的步骤包括：通过全卷积神经网络的卷积层对拍摄的图片进行卷积化；对全卷积神经网络的最后一个卷积层卷积化的结果以及部分其它卷积层卷积化的结果进行上采样；通过跳跃结构将对最后一个卷积层卷积化的结果进行上采样的结果与对部分其它卷积层卷积化的结果进行上采样的结果进行融合，来获得语义分割图；使用全连接条件随机场来推测语义分割图中的像素对应的类别标签。

根据本发明的示例性实施例，根据对象的轮廓确定所述填充区域的步骤包括：基于确定的轮廓中的对象的位置和大小自动选择需要填充和替换的对象，或者基于手动操作来选择需要填充和替换的对象。

根据本发明的示例性实施例，从数据库存储的图片中找出与拍摄的图片最相似的图片作为参考修复图片的步骤包括：根据拍摄的图片和所述地点信息，通过SIFT特征匹配从数据库存储的与所述地点信息相应的地点的图片中找出与拍摄的图片最相似的图片，作为参考修复图片，其中，在SIFT特征匹配中，通过余弦相似度来计算两个图片的相似度。

根据本发明的示例性实施例，数据库中存储的图片为无任何人物干扰的纯景色图片。