[发明专利]一种基于强化学习的立体图像视觉舒适度增强方法

权利要求书

1.一种基于强化学习的立体图像视觉舒适度增强方法，其特征在于，包括以下步骤：

构造两种数据集，分别为单一变换数据集以及混合变换数据集；

设计立体图像几何校正网络，依次采用不同的单一变换数据集训练该网络分别得到不同的立体图像几何校正工具；

设计视觉舒适度增强模型，利用混合变换数据集并采用强化学习算法来训练该视觉舒适度增强模型；

将待调整的立体图像输入训练好的视觉舒适度增强模型中，以提高其视觉舒适度；

其中，所述设计立体图像几何校正网络具体为：

设计一个具有上下2个支路的卷积神经网络，分别对应224*224大小的左视图、右视图作为输入，每个支路的前五个卷积层学习一个视图特征，然后将下支的特征添加到上支中，将上支的特征添加到下支中，最后在两个支路上各接上3层卷积层去学习一个3×3的单应性矩阵用于视图的几何校正；

每个支路上的前五个卷积层大小分别为：第一层卷积核大小为9×9，第二层卷积核大小为7×7，第三层卷积核大小为5×5，第四层和第五层卷积核大小都是3×3；第一到第四层每一层卷积层后同时接一层3×3大小的最大池化层，第五层卷积层后接一层3×3大小的平均池化层；池化操作通过保留输入的局部池化区域的最大值和平均值，起到数据降维的作用；

其中，所述依次采用不同的单一变换数据集训练该网络分别得到不同的立体图像几何校正工具具体为：

使用12组单一变换数据集分别训练12个立体图像几何校正工具，在每个立体图像几何校正工具的训练阶段，使用均方差误差作为损失函数，计算公式为：

式中，N是同时进入训练的一个批次立体图像的数量，I_L,I_R代表输入立体图像的左、右视图，h_L,h_R代表输出的左、右单应性矩阵，f(I_L；h_L),f(I_R；h_R)代表几何校正后的左、右视图结果；该图像几何校正工具通过基于梯度方差的Adam方法，利用反向传播来最小化损失函数，学习到模型的最优参数；

其中，所述设计视觉舒适度增强模型具体为：

所述视觉舒适度增强模型包括特征提取模块、动作决策模块、质量评估模块以及视差分布调整网络；

所述特征提取模块用以提取输入的立体图像左右视图的卷积特征、纹理特征LBP以及视差图梯度特征HOG，所述动作决策模块将特征提取模块输出的卷积特征、纹理特征LBP、视差图梯度特征HOG以及上一步决策的序号的one-hot编码作为输入，输出一个13维的决策向量(q₀,q₁,q₂,...q₁₂)，其中q_i表示第i+1种决策对应的期望回报，值越大代表决策越优，i＝0～12；根据决策向量，并采用下式选择出对应当前立体图像的左右图像几何校正工具：

action_n＝argmax_aQ(state_n,a,ω)；

式中，state_n表示所述视觉舒适度增强模型执行第n步操作前的状态，action_n表示第n步所选择的决策序号，对应12个立体图像几何校正工具和结束操作中的一个，Q表示包含特征提取模块与动作决策模块的网络，ω表示该网络的参数，a表示决策序号，其值为0至12中的一个，Q(state_n,a,ω)表示在状态为state_n时，参数为ω的Q网络输出的决策向量(q₀,q₁,q₃,...q₁₂)中下标为a的数值q_a，因此action_n是通过选择决策向量中的最大数值及其对应的下标来确定的；

将当前左右视图输入当前选择的立体图像几何校正工具，输出2个3×3矩阵，分别对应左视图几何校正单应性矩阵和右视图几何校正单应矩阵，应用后得到左右视图结果图；

将当前得到的左右视图结果图输入视差分布调整网络进行视差调整，得到调整后的结果图像；

将调整后的结果图像送入质量评估模块得到评估分数，若立体图像的舒适度有提高，则将视差调整后的结果图像再次送入特征提取模块中进行循环，否则将视差调整前的结果图像再次送入特征提取模块中进行循环。