[发明专利]一种基于强化学习的立体图像视觉舒适度增强方法

说明书

本发明涉及一种基于强化学习的立体图像视觉舒适度增强方法，首先构造两种数据集，然后设计立体图像几何校正网络，依次采用不同的单一变换数据集训练该网络分别得到不同的立体图像几何校正工具；接着设计视觉舒适度增强模型，利用混合变化数据集并采用强化学习算法来训练该视觉舒适度增强模型；最后将待调整的立体图像输入训练好的视觉舒适度增强模型中，以提高其视觉舒适度。本发明可以显著提高视觉不适的立体图像的质量，给予观看者舒适的观看体验。

技术领域

本发明涉及图像处理以及计算机视觉技术领域，特别是一种基于强化学习的立体图像视觉舒适度增强方法。

背景技术

立体三维(S3D)媒体内容的舒适度调节一向是计算机视觉领域的研究热点。然而，当人们在当前的立体显示器上观看立体图像时，不自然的立体图像可能使人眼出现各种视觉疲劳症状，如眼睛疲劳、头痛、对焦困难和恶心，这影响了用户对立体内容的体验，阻碍了3D服务的推广。过去二十年的研究已经确定了导致视觉不适的几个关键因素，包括水平视差过大、视差快速变化、立体图像左右视图不匹配等。与之同时也涌现出一批提高视觉舒适度的研究工作。

提高立体图像/视频的视觉舒适度的工作可以分为两类，第一类是立体图像几何约束，现有的方法根据是否使用摄像机内外参数又可以分为相机标定方法和无标定校正方法。通过确定一对单应性矩阵并利用它们对两幅图像进行变换，使对应的极线重合并平行于其中一个图像轴。第二类是立体图像/视频视差分布调整，可以分成两种方法：视差重映射和视差平移。Yan等人提出了一个视差重映射方法，根据实际显示设置，同时保留相邻特征与线、面弯曲约束的关系，来调整立体视频的深度范围。Li等人提出了基于轴向校正翘曲的优化模型，可以在不引入严重畸变的情况下同时将被选对象的深度和尺寸调整到目标值。Shao等人提出了一种通过调整投影的零视差平面(ZDP)来改善视觉舒适度的方案，首先根据空间频率视差大小和视觉注意力预测视觉不适程度，选出最优的零视差平面，最后根据零视差平面自动调整交叉和非交叉的视差范围。

然而，大多数方法都采用手工设计并提取特征的方法，操作繁琐，而且将立体图像几何约束和立体图像视差分布调整分开考虑，忽略了两者的相关性。

发明内容

有鉴于此，本发明的目的是提出一种基于强化学习的立体图像视觉舒适度增强方法，可以显著提高视觉不适的立体图像的质量，给予观看者舒适的观看体验。

本发明采用以下方案实现：一种基于强化学习的立体图像视觉舒适度增强方法，具体包括以下步骤：

构造两种数据集，分别为单一变换数据集以及混合变换数据集；

设计立体图像几何校正网络，依次采用不同的单一变换数据集训练该网络分别得到不同的立体图像几何校正工具；

设计视觉舒适度增强模型，利用混合变化数据集并采用强化学习算法来训练该视觉舒适度增强模型；

将待调整的立体图像输入训练好的视觉舒适度增强模型中，以提高其视觉舒适度。

进一步地，所述构造两种数据集，分别为单一变换数据集以及混合变换数据集具体包括以下步骤：

步骤S11：将多个公共数据集的所有舒适的立体图像进行随机抽样，形成高质量立体图像数据集；

步骤S12：对高质量立体图像数据集中每一幅高质量立体图像先缩放到224×224大小，使计算设备能够承担神经网络的计算量；

步骤S13：划分大、中、小三种尺度，将缩放后的立体图像的左右视图分别进行不同尺度的上下左右平移、顺/逆时针旋转、缩放、透视变换以形成视觉不适的立体图像，随机对立体图像添加噪声，并重复上述步骤来扩大数据集的数据量，最终获得12组单一变换数据集和1组混合变换数据集；其中，单一变换数据集由大中小三种尺度之一和平移、旋转、缩放、透视变换四种操作之一组合而成，混合变换数据集由所有尺度和所有操作组合而成。