[发明专利]基于光学和神经注意机制的立体图像视觉舒适度评价方法

说明书

本发明涉及一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，包括下列步骤：估计像素视差图、三维加权显著图和三维加权非显著图；通过改变视距,得到三种角视差图，分别为原始角视差图；调谐近角视差图；调谐远角视差图，计算MTI图；提取特征；回归模型预测分数质量。

技术领域

本发明属于立体图像视觉舒适度评价领域。

背景技术

立体三维(S3D)电影在经济方面的成功证明了3D-TV的发展潜力，显然，3D-TV的主要好处是增强了深度感知，一些经验证据表明3D-TV还可以增强人们对清晰度、存在感和自然性的感知。更重要的是，调查表明人们更喜欢观看立体三维图像而不是二维图像，前提是立体图像没有烦人的伪影并且看起来很舒服。

立体图像的视觉舒适性一直是立体研究中一个长期存在的问题，“视觉不适”一词通常是指与观看立体图像有关的主观不适感，例如眼酸眼胀，头痛恶心甚至呕吐等症状。若想让观众享受到高质量的立体内容，首先要消除人们在观看立体视频图像时的不舒适感。研究立体图像舒适度的影响因素将具有重要意义，为了建立有效的视觉舒适度评价(VCA，Visual Comfort Assessment)模型，应该考虑以下两个点：(1)模型有充分关于视觉舒适度的光学和神经生理理论，能够模仿视觉处理系统，(2)模型具有使用价值，可以应用到现有的设备以及提供良好的预测效果。

发明内容

本发明提出一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，综合考虑了影响视觉不适的三个最主要因素：人类视觉处理系统的光学、心理物理和神经生理因素。技术方案如下：

第一步：估计像素视差图D_p、三维加权显著图S_p和三维加权非显著图S_p^-

采用DERS(Depth estimation reference software)方法对像素进行深度估计，得到像素视差图，称为D_p。

采用AH(Salient object detection via augmented hypotheses)方法进行显著性目标检测，得到显著图S。

将像素视差图D_p和显著图S线性组合得到三维显著性加权视差图S_p：

s_p(i，j)＝(1-α).d_p(i，j)+α.s(i，j)

其中s_p(i，j)、d_p(i，j)和s(i，j)分别表示三维显著性加权视差图S_p、像素视差图D_p和显著图S在像素点(i，j)处的值，α是三维显著性加权视差图的显著性权重，取α＝0.3，(1-α)是其深度显著性权重；

由三维显著性加权视差图S_p得到三维非显著性加权视差图S_p^-，检测图像显著区域外的最大视差物体：

s_p^-(i，j)＝1-s(i，j)

s_p^-(i，j)表示三维非显著性加权视差图S_p^-在像素点(i，j)处的值。

第二步：计算三种角视差图D₀、D₁、D₂和MTI图

对于13种典型MT神经细胞，获得各MT神经细胞对应的MT图，用以表示各MT细胞对于水平角视差的电反应；。

为表示立体图像不同部分的重要性，将MT图和显著图S线性组合，再经过视差值加权得到MT重要性图，即MTI图：