[发明专利]基于光学和神经注意机制的立体图像视觉舒适度评价方法

摘要

本发明涉及一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，包括下列步骤：估计像素视差图、三维加权显著图和三维加权非显著图；通过改变视距,得到三种角视差图，分别为原始角视差图；调谐近角视差图；调谐远角视差图，计算MTI图；提取特征；回归模型预测分数质量。

主权项

1.一种基于光学和神经注意机制的立体图像视觉舒适度评价方法，包括下列步骤：/n第一步：估计像素视差图D_p、三维加权显著图S_p和三维加权非显著图S_p^-/n采用DERS(Depth estimation reference software)方法对像素进行深度估计，得到像素视差图，称为D_p；/n采用AH(Salient object detection via augmented hypotheses)方法进行显著性目标检测，得到显著图S；/n将像素视差图D_p和显著图S线性组合得到三维显著性加权视差图S_p：/ns_p(i,j)＝(1-α).d_p(i,j)+α.s(i,j)/n其中s_p(i,j)、d_p(i,j)和s(i,j)分别表示三维显著性加权视差图S_p、像素视差图D_p和显著图S在像素点(i,j)处的值，α是三维显著性加权视差图的显著性权重，取α＝0.3，(1-α)是其深度显著性权重；/n由三维显著性加权视差图S_p得到三维非显著性加权视差图S_p^-，检测图像显著区域外的最大视差物体：/ns_p^-(i,j)＝1-s(i,j)/ns_p^-(i,j)表示三维非显著性加权视差图S_p^-在像素点(i,j)处的值。/n第二步：计算三种角视差图D₀、D₁、D₂和MTI图/n对于13种典型MT神经细胞，获得各MT神经细胞对应的MT图，用以表示各MT细胞对于水平角视差的电反应；/n为表示立体图像不同部分的重要性，将MT图和显著图S线性组合，再经过视差值加权得到MT重要性图，即MTI图：/nMTI(i)＝[ω_mMT(i)+ω_sS].|D_d|/n其中，ω_m为MT值权重，取ω_m＝0.3，ω_s为显著图权重，取ω_s＝0.7，MT(i)为第i个MT神经细胞的MT图，S为显著图，D_d为角视差图；角视差图D_d的计算方法如下：/n /n其中d(x,y)表示角视差图D_d在像素点(i,j)处的值，其中I表示眼间距离、Z_d表示物体与显示器之间的距离；/n通过改变视距D得到三种角视差图，分别为原始角视差图D₀；调谐近角视差图D₁；调谐远角视差图D₂；/n根据MT神经细胞对视距变化的电反应，将MT神经细胞分类：MT1到MT5细胞对近视差变化反应强烈，被分到调谐近视差图D₁，即在计算对应的MTI图时，公式中的视差图D_d＝D₁；同理，MT6到MT7细胞被分到原始角视差图D₀；MT8到MT12细胞被分到调谐远视差图D₂；MT13被同时分到调谐近视差图D₁和调谐远视差图D₂，最终得到14个MTI图；/n第三步：提取特征/n(1)对于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p^-：对原始图像做下采样处理，得到1/8下采样图像、1/4下采样图像和原始尺寸图像，分别计算三种图像的视差均值p₁、视差方差p₂、3D显着加权视差均值p₃，3D非显着性加权视差均值p₄和视差梯度p₅，得到某一种采样图像的特征，表示为P^size＝{p₁,p₂,p₃,p₄,p₅}；三种采样图像的特征组合起来得到一组特征向量/n计算方法如下：/n /n /n /n /n /n其中P为图像长和宽的乘积，d_n是对d_p的归一化，μ为d_p的均值，|Δd_p(x,y)|表示绝对微分视差；/n(2)对于三种角视差图D₀、D₁、D₂：分别计算最大视差d₁、最小视差d₂、视差范围d₃、平均交叉视差d₄和平均未交叉视差d₅，得到特征向量D＝{d₁,d₂,d₃,d₄,d₅}；/n计算方法如下：/nd₁＝max{d(x,y)}/nd₂＝min{d(x,y)}/nd₃＝max{d(x,y)}-min{d(x,y)/n /n /n其中Ω^-和Ω⁺分别是负视差值组和正视差值组，分别对应平均交叉视差和平均未交叉视差，K₁和K₂分别是每组中的像素数；/n(3)对于14个MTI图：分别计算14个MTI图的像素平均值，并归一化，得到神经特征向量N＝{n₁,n₂,…,n₁₄}，其中n_i表示第i个MTI图的归一化像素平均值；/n第四步：回归模型预测分数质量/n(4)利用双SVR来预测立体图像对的视觉不适分数；/n1)来源于视差图D_p、三维显著性加权视差图S_p和三维非显著性加权视差图S_p^-的特征信息F，提供给第一个支持向量回归器SVR-P，预测视觉不适评分Q_p；/n2)来源于调谐视差图D₀、D₁、D₂的特征信息D和对应分类的MTI图特征信息N，提供给第二个支持向量回归器SVR-MT，预测视觉不适评分Q_MT；/n3)最终的立体图像视觉不适分数Q_p＝0.7Q_p+0.3Q_MT。/n