[发明专利]一种基于限制性预测滤波的图像散景渲染方法及系统

权利要求书

1.一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤如下:

步骤1：准备数据集并对数据进行预处理；

步骤2：构建基于限制性预测滤波的图像散景渲染网络；

首先建立基本的图像散景渲染任务的理论模型，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理；

所述的基于限制性预测滤波的图像散景渲染网络包括限制性预测滤波模块和显著性检测模块，其中显著性检测模块用于检测输入全聚焦图片中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块用于保留显著性检测模块检测到的显著性特征，并对输入图片的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果；

步骤3：通过数据集训练图像散景渲染网络模型：

步骤4：经过训练的神经网络模型接收需要进行散景渲染处理的图片，完成散景渲染处理后将图片输出。

2.根据权利要求1所述的一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤1具体步骤如下；

步骤1.1：建立网络训练需要的数据集，数据集包括不同场景下拍摄的图像数据，所述的图像数据包括成对图片，分别为原始全聚焦图片和带有散景渲染效果的图片；其中数据集中的全聚焦图片I_org作为模型训练过程中的输入数据，数据集中的具有真实散景渲染效果的图片I_gt作为模型训练过程中的用于与模型输出图片进行对比的对比数据；

步骤1.2：对数据集的所有图片利用双三次插值方法缩放到1024×1536的尺寸，减少训练网络所需要的成本。

3.根据权利要求2所述的一种基于限制性预测滤波的图像散景渲染方法，其特征在于，步骤2具体方法如下；

步骤2.1：建立基本的图像散景渲染任务的理论模型；全聚焦图片I_org和真实散景渲染效果的图片I_gt具有相同的清晰的显著部分I_focus；全聚焦图片除去清晰的显著部分后剩余的部分I_defocus需要进行散景渲染处理；所以，将图像散景渲染任务分成两个子任务，一个子任务是对输入图片进行显著部分内容保留，另一个子任务是对输入图片进行自适应的散景模糊处理；图像图像散景渲染任务的理论模型公式表示如下：

其中ψ表示针对全聚焦图片I_org的显著性内容检测函数；表示对图片进行模糊处理的模糊函数；

步骤2.2：针对图像散景渲染任务，推导基于限制性预测滤波的图像散景渲染模型；构建限制性预测滤波模块F，所述的限制性预测滤波模块包括限制性预测滤波器生成模块F_G和自适应滤波模块F_V；

限制性预测滤波器生成模块F_G用于生成一个对输入图片X的每个像素均具有特定滤波核参数的滤波器f，即：

f_θ(i，j)＝F_G(X(i，j))

其中θ(i，j)表示对应于输入图片X的(i，j)像素的滤波核参数，而k表示滤波核的尺寸；

自适应滤波模块F_V使用由限制性预测滤波器生成模块F_G生成的滤波器f对输入图片X进行自适应滤波操作；在限制性预测滤波器生成模块F_G中，生成的滤波器f的滤波核参数θ利用Softmax函数进行限制，从而滤波器f的滤波核参数被限制为三种类型：用于邻域模糊的滤波核K_B，用于像素平移的滤波核K_D以及用于像素保留的滤波核K_R；其中用于邻域模糊的滤波核K_B的参数总和为1，且每个元素值均属于0到1之间；用于像素平移的滤波核K_D的参数只有一个非中心元素的值为1，其他元素值均为0；用于像素保留的滤波核K_R的参数只有中心元素的值为1，其他元素值均为0；因此，在限制性预测滤波模块F的作用下，基于限制性预测滤波的图像散景渲染任务的模型可以用公式表示为：

I_bokeh(i，j)＝F_V(I_org(i，j)，f_θ(i，j))

其中，I_org表示全聚焦图片，f表示由限制性预测滤波器生成模块F_G生成的滤波器，θ(i，j)表示特定于输入图片I_org的第(i，j)个像素生成的滤波核参数，其属于三种核参数K_R，K_B，K_D类型中的一种，I_bokeh表示基于限制性预测滤波算法得到的具有散景渲染效果的输出图片；

与步骤2.1中的图像散景渲染任务的理论模型对比看出，本发明提出的基于限制性预测滤波的图像散景渲染模型将图像散景渲染任务的理论模型中提出的两个子任务(子任务一是对输入图片进行显著部分内容保留，子任务二是对输入图片进行自适应的散景模糊处理)用统一的限制性预测滤波模块F完成；

步骤2.3：构建显著性检测模块；从理论上来讲，本发明只需要使用限制性预测滤波模块F就可以完成对单张输入图像的散景渲染处理；但是为了获得更加精准的自适应滤波效果，保证输入图片的显著部分不被模糊，构建显著性检测模块G，用于检测输入全聚焦图片I_org中的显著性特征，辅助限制性预测滤波模块F从而实现精准的自适应滤波；

步骤2.4：构建基于限制性预测滤波的图像散景渲染网络，并通过数据集进行训练；

所述的图像散景渲染网络模型包括显著性检测模块G和限制性预测滤波模块F；其中显著性检测模块G用于检测输入全聚焦图片I_org中的显著性特征，用于辅助后续限制性预测滤波模块F的工作，而限制性预测滤波模块F用于保留显著性检测模块G检测到的显著性特征，并对输入图片I_org的其他部分进行限制性滤波操作，模糊图片内容从而产生散景渲染效果。