[发明专利]图像修复模型训练方法及系统及图像修复方法

说明书

本发明公开了图像修复模型训练方法及系统及图像修复方法，包括：对若干原图图像进行随机掩膜处理，生成训练数据集用于训练图像修复深度神经网络模型；构建图像修复深度神经网络模型，图像修复深度神经网络模型包括：生成模型与判别模型，生成模型用于修复图像残缺区域或模糊区域，判别模型用于判断生成模型的修复结果是否符合预设要求；利用训练数据集训练图像修复深度神经网络模型，得到训练后的图像修复深度神经网络模型；本发明能更有效的修复图像，满足人们对高质量图像的需求，本发明能够解决传统图像修复技术在修复区域大、图像颜色差异大的情况下难以修复、修复效果不好，修复后的区域不自然等问题。

技术领域

本发明涉及图像修复处理领域，具体地，涉及一种基于先验知识的图像修复深度神经网络模型训练方法及系统及图像修复方法。

背景技术

数字图像修复技术是一项利用图像中的已知信息来填补图像中缺损区域的技术，属于计算机视觉领域的图像复原问题。在物理工程领域，专家需要解析实验产生的图像，但由于光学器件的噪声和其他噪声的影响，造成图像中本应连续、均匀的目标造成断裂、减弱。如何尽可能地还原图像中丢失的信息是目前亟待解决的问题。

传统的图像修复方法主要分为两类，基于像素的图像修复和基于块状的图像修复。基于像素的图像修复技术的基本思想是从需要进行补绘区域的边界开始，由边界到中心逐渐填充待补绘区域中的所有像素，待填充像素由其邻域中所有已知像素的加权和得到；该类修复方法的代表性算法为基于快速行进方法(Fast Marching Method)的补绘算法；当修复区域较小时，修复效果较好，但当修复区域较大时，会出现模糊效应。基于块状的图像修复技术的基本思路是通过搜索图像中与待填充补绘区域中一个小块相似的块状进行补全，其本质是用图像已知部分的信息来补全未知部分；该类方法的代表性算法为基于范例的(exampler based)补绘算法。当图像颜色单调时，修复效果较好，当图像中颜色差异较大时，修复效果很差。

随着科技与深度学习的发展，基于深度学习的图像修复技术愈来愈成为当前主流的技术之一。基于深度学习的图像修复技术能够更好适应修复区域大小不统一的问题，也能更好的解决图像颜色差异带来的修复效果较差的问题。但是目前基于深度学习的图像修复方法修复效果无法控制，容易出现违背先验知识的修复效果。例如：附图1为原图，如果残缺区域存在于图1中间，那么效果图如附图2所示。目前的方法是无法基于先验知识的，人们即便知道原图图像在中间是存在凸出，但是修复的方法是基于残缺区域图像周围信息进行修复的，这时候是无法将这种先验知识考虑在内的，修复出来的图像如附图3所示，与先验知识不符。

发明内容

为了解决传统方法和基于深度学习方法在图像修复技术中的各种缺陷，本发明提供了一种新型的、基于深度学习的、能够引入先验知识的图像修复方法，本方法能更有效的修复图像，满足人们对高质量图像的需求。本发明针对复杂情况下的图像，旨在解决传统图像修复技术在修复区域大、图像颜色差异大的情况下难以修复、修复效果不好，修复后的区域不自然等问题。

为实现上述目的，本发明提供了一种图像修复模型训练方法，所述方法包括：

对若干原图图像进行随机掩膜处理，生成训练数据集用于训练图像修复深度神经网络模型，训练数据集包括：原图图像数据、带有目标边缘信息的图像数据和只有掩膜的图像数据；

构建图像修复深度神经网络模型，图像修复深度神经网络模型包括：生成模型与判别模型，生成模型用于修复图像残缺区域或模糊区域，判别模型用于判断生成模型的修复结果是否符合预设要求；

利用训练数据集训练图像修复深度神经网络模型，得到训练后的图像修复深度神经网络模型。