[发明专利]一种基于多尺度空间视差信息的立体视频舒适度预测方法

说明书

本发明公开了一种基于多尺度空间视差信息的立体视频舒适度预测方法，包括以下步骤：从立体视频每帧的不同尺度视差信息提取尺度空间域特征与尺度空间流特征；建立尺度空间域特征与尺度空间流特征权重关系得到立体视频每帧输入特征；利用SVR进行单帧舒适度预测并采用时间中值池化策略得到立体视频舒适度得分。上述方法在不同尺度空间提取特征，并将不同尺度空间特征进行融合，建立不同特征的权重关系，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，对立体视频视觉舒适度进行更准确的预测。

技术领域

本发明涉及立体视频舒适度技术领域，尤其涉及一种基于多尺度空间视差信息的立体视频舒适度预测方法。

背景技术

伴随着3D电影以及虚拟现实的发展，立体视频和图像在现实生活中的应用越来越多。相较于二维图像和视频，立体图像和视频能给用户带来更多的视觉信息和更逼真的视觉体验，但同时由于运动过快或视差过大等，会给观众带来视觉不适，降低视觉体验。有资料显示，观看者观看立体视频时可能会产生头晕、眼疲劳、恶心和肩颈疼痛等不适感。为给用户带来更多有益的视觉信息，需要探索立体视频舒适度预测方法。

立体图像和视频由左序列与右序列合成。有研究利用左右视图提取熵信息和纹理特征作为预测特征，将舒适度预测与显著性相结合，采用了通过立体显著区域提取不适因子进行舒适度预测。还有研究将主要视觉皮层的神经活动机制运用在立体视频舒适度预测中。还有针对具有多个显着物体的立体图像不舒适性评估问题，提出了与视觉不舒适感潜在相关的4种视觉特征。视差图在立体视觉有重要作用，给观看者带来距离信息，产生立体感，但过小会降低立体感知，过大会导致视觉不舒适。因此有研究开发了视差信息结合神经元模型的立体视觉不适预测器，或者提取深度信息探究不适因子与立体视觉舒适度的关系。有的提出视觉舒适度随着视差大小和运动速度的增加而降低。也有利用水平视差与垂直视差进行立体视觉舒适度预测。

中国专利文献CN103096122A公开了一种“基于感兴趣区域内运动特征的立体视觉舒适度评价方法”。采用了：首先，制定计算立体视频感兴趣区域内运动特征向量策略；然后，通过主观测试建立表征立体视频运动特征和立体视觉舒适度之间非线性关系的立体视觉模型。最后，基于立体视频感兴趣区域内运动特征向量和非线性立体视觉模型，选择空间域均值策略、最小值整合策略和时域中值策略，制定立体视觉舒适度评价方法。该方法没有在不同尺度空间下对视差信息提取与融合各特征，预测不够准确。

发明内容

本发明主要解决原有的缺少在不同尺度空间下对视差信息提取与融合的技术问题，提供一种基于多尺度空间视差信息的立体视频舒适度预测方法，在不同尺度空间提取特征，并将不同尺度空间特征进行融合，建立不同特征的权重关系，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，有效体现每个尺度的时间流视差特征对舒适度预测的贡献，对立体视频视觉舒适度进行更准确的预测。

本发明的上述技术问题主要是通过下述技术方案得以解决的：本发明包括以下步骤：

(1)从立体视频每帧的不同尺度视差信息提取特征；将立体视频视差图输入多尺度变换获得不通尺度空间下的视差图，所有尺度空间下的空间域视差信息融合为尺度空间域特征，所有尺度空间下的时间流视差特征融为尺度空间流特征。

(2)建立尺度空间域特征与尺度空间流特征权重关系得到立体视频每帧输入特征；确定尺度空间域特征与尺度空间流特征权重因子后将尺度空间域特征与尺度空间流特征融合计算。

(3)利用SVR进行单帧舒适度预测并采用时间中值池化策略得到立体视频舒适度得分。将建立权重后的特征作为输入值，对应的MOS值作为输出进行训练和测试，训练集与测试集比例为9:1，将进行2000次训练测试结果的平均值作为最终该条件下的结果。

作为优选，所述的步骤(1)中提取的特征包括尺度空间域特征和尺度空间流特征。

作为优选，所述的步骤(1)中尺度空间域特征提取的过程为：获得立体视频的帧视差图I，即