[发明专利]一种基于限制性预测滤波的图像散景渲染方法及系统

说明书

本发明公开了一种基于限制性预测滤波的图像散景渲染方法及系统，首先准备数据集并对数据进行预处理；构建基于限制性预测滤波的图像散景渲染网络；图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果；通过数据集训练图像散景渲染网络模型。本发明方法使用三种参数类型的限制性预测滤波核对图片进行自适应滤波，从而实现散景渲染处理，创新的提出了一种限制性预测滤波模块用于实现图像的散景渲染处理。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于限制性预测滤波的图像散景渲染方法及系统。

技术背景

散景渲染在摄影领域是一项常用的拍摄技巧，通常拍摄者将相机设置为大光圈拍摄模式进行图像拍摄从而将图像中的不感兴趣的部分模糊处理即散景渲染。

现有的技术可以分成两大类：基于硬件的实现方法以及基于软件的实现方法。基于硬件层面的实现方法有GooglePixel手机使用双摄像头拍摄的数据进行散景估计；而iphone7+使用双镜头估计场景深度，从而对拍摄的图像选择性地模糊背景。而基于软件层面的实现方法多数都是采用基于深度学习技术，搭建端到端的网络实现图像的散景效果渲染。第一类方法的实现依赖于特殊设备，直接增加制造成本。而第二类方法受限于深度学习可解释性差的问题，缺乏对散景渲染内容的原理解释。

发明内容

针对上述的基于硬件实现方法成本高，基于软件实现方法可解释性差的问题，本发明提出了一种基于限制性预测滤波的图像散景渲染方法。进一步的提出了一种实现上述方法的系统。

实现步骤：本发明的第一方面，提出了一种基于限制性预测滤波的图像散景渲染方法，其基本步骤为:

步骤1：准备数据集并对数据进行预处理；

步骤2：构建基于限制性预测滤波的图像散景渲染网络；

首先建立基本的图像散景渲染任务的理论模型，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理。

所述的基于限制性预测滤波的图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。

步骤3：通过数据集训练图像散景渲染网络模型：

步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出；

步骤1具体步骤如下；

步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片。其中数据集中的全聚焦图片I_org作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片I_gt作为模型训练过程中的用于与模型输出图片进行对比的对比数据。

步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024×1536的尺寸，减少训练网络所需要的成本。

步骤2具体方法如下；