[发明专利]一种视差图质量评估方法

说明书

本发明公开了一种双目立体匹配视差图质量评定方法，可以用在计算机立体匹配领域。主要用于相机受光线以及当有物体靠近双目较近时，传统视差结果会出现较多误差，视差结果将不可靠。发明通过结合部分参考和无参考方法，将深度图与灰度图建立反馈系统，利用灰度图中的特征几何判断深度图误差区域作为判断深度图质量依据。

技术领域

本发明涉及双目立体匹配视差图质量评定方法，属于计算机视觉领域特别是双目视觉领域。

背景技术

图像质量评价（Image Quality Assessment,IQA）一直是研究的主要热点研究领域，在整个图像质量评价体系中一般分为客观图像评价和主观图像评价,主观评价需要依靠人或者其他第三方工具进行进行判断，对工具较为依赖具有成本高，主要有平均主观分值法（MOS）和差分主观分值法（DMOS），主观评价需要组织相应人力对图像质量进行判定，其结果很容易收到个人主观因素影响，随着图像数量几何递增时，该方法就极为耗时，不利于实际工程实践。而客户评价主要使用一个或者多个图像度量指标，通过建立图像质量相关数学模型通算法自动计算得出图像质量，最终使其评判结果与人主观评价相一致。Wang Z,BOVIK AC等人在‘Image quality assessment:From error visibility to structuralsimilarity[J]’中将客观质量评价分为 全参考方法（FR）,部分参考方法（RR）,无参考方法（NR）三种。FR需要原始图像作为评价的主要参考，经过几十年的发展，已形成较完整的理论体系和成熟的评价框架，待评价图像信号的质量可以通过与原始图像信号相比之后获得的误差信号来进行质量分析，图像质量的下降与误差信号的强弱相关。部分参考评价方法只需提取部分原始图像数据用于评价，相对于全参考评价方法，这种方法灵活性强，适用范围广泛，具有传输数据量小，可靠性高等特点，受到了越来越多人的关注，更具研究价值。最后NR不需要借助任何参考图像，依靠待评价本身各种信息进行质量评价，相对于全参考和质降参考评价方法，无参考评价方法的研究仍处于起步阶段。目前，无参考图像失真度量一般是针对某一种或几种类型的失真，如模糊效应、分块效应、噪声效应等。随着自动驾驶等AI领域发展，双目立体图像质量评价（Stereoscopic Image Quality Assessment, SIQA）成为计算机视觉领域中的热点和难点之一，目前针对专门立体图像质量客观评价方法研究较少。Patrizio , Patrick等人在‘Stereoscopic Images Quality Assessment[j]’将一些现有的平面图像的客观评价指标如SSIM(Structural SIMilarity),C4, UQI(UniversalQuality Index)以及RRIQA(Redeuced Refernce Image Quality Assessment)用于立体图像中的质量评价。立体图像与平面图像不同之处，立体感产生的原因主要是来自于左右图像的视差，当前主要针对立体图像质量评价的标准是衡量待评价左右视差图对参考图像的相关性或差异性，Wang Z,BOVIK AC等人提出，将平面图像质量评价指标与视差失真结合起来，提出了一种针对立体图像质量的客观评价方法，其中视差失真的表征是通过计算参考图像对和评价图像对深度图的相关系数的方法，将深度图的相关系数作为一个评价指标。LIN等人在’Quality assessment of stereoscopic 3D image compression bybinocular integration behaviors[J]’中指出一种基于频带联合的SIQA方法，利用高斯差分（Difference of Gaussian， DOG）的多频带分解和立体视觉的双目特性。该文献中将立体图像对的左右眼视图分别采用SSIM进行评价，然后与深度失真信息玩加权，得到最终结果，具体两种做法：采用局部视差失真法和总体视差失真法。Pieter J．H．Setmtiens．Visual Experience of 3D TV[J]，Eindhoven University Press Facilffies指出提出了深度，自然度，表现度和感观四个评价指标来针对立体图像进行主观评价。杨嘉琛等在基于PSNR立体图像质量客观评价方法[J]，提出了一种立体图像质量评价方法。具体做法是：首先对图像质量进行客观评价(单眼平面图像评价)，即借鉴平面图像质量评价的PSNR方法；然后，进行视点对之间立体感觉客观评价，这部分利用差值图来对立体感觉进行客观评价。CN201711003045.4中指出一种基于视觉感知和双目竞争的无参考立体图像质量评价方法，本方法首先将输入立体图像对转化为灰度信息，对灰度信息利用匹配算法得到立体图像对的模拟视差图和不确定性图，同时利用灰度信息及其滤波响应和模拟视差图校正合成单眼图像。其次，将得到的单眼图像和不确定性图在不同尺度空间和频率空间上进行高斯差分处理，并提取自然场景统计和视觉感知特征向量。然后，利用支持向量机和BP神经网络分别对特征进行训练，得到预测模型，应用预测模型和测试及对应的特征向量，进行质量预测和评估。该在融合单眼图像过程中会存在较大误差，由于存在预评估准确的问题，因此对最终的质量预测存在一定程度误差。本发明主要对立体匹配结果视差质量结果进行评估，结合部分参考和无参考方法对双目匹配过程中较近物体进行或者存在全亮部分产生的误差进行判断，同时具有高实时性。