[发明专利]基于自回归局部图像描述的3D合成图像质量评价方法

说明书

基于自回归局部图像描述的3D合成图像质量评价方法属于图像和视频质量评价的方法，利用自回归建模方法建立质量评价模型，实现对3D合成图像的有效评价。随着科技的进步，基于深度的图像绘制(DIBR)技术得到越来越广泛的应用，如自由视角视频和3D电视等。DIBR技术可以根据已有的多视角图像合成新视角下的图像，从而减少自由视角视频的拍摄费用和难度。然而合成图像过程中难以避免产生几何失真，目前所有的图像质量评价方法均难以有效评价几何失真图像。实验结果表明，通过计算合成图像与回归模型之间的重构误差可以有效识别几何失真。本发明填补了DIBR图像无参考质量评价技术方面的空白，促进了3D技术的发展。

技术领域

本发明属于图像和视频质量评价的方法，利用自回归建模方法建立质量评价模型，实现对3D合成图像的有效评价。

背景技术

二十一世纪以来，图像和视频逐渐成为人们获取信息、沟通交流的重要途径，全世界每年产生数百亿张数字照片和数亿段视频，而伴随着3G技术的普及和4G时代的开启，基于3D技术的虚拟现实等全视角视频是科技发展的必然趋势。在制作自由视角视频过程中，需要使用基于深度的图像绘制(DIBR)技术，根据临近的多个视角图像产生新的视角下的图像。DIBR技术生成合成图像主要分为两步：首先通过每个像素的深度信息在3D空间重新产生新的结构信息；然后将3D空间点延伸到2D像平面产生虚拟照相机，通过虚拟照相机产生新视角下的图像。DIBR技术的应用可以有效减少自由视角视频拍摄过程中使用摄像机的数量，降低视频拍摄难度，但合成图像的过程中不可避免会产生几何畸变。几何畸变与自然图像中发生的畸变(如模糊、块效应和细节丢失等)具有不同的特征，严重的几何畸变会降低多视角视频的观看效果。因此，需要一种图像质量评价方法有效识别DIBR图像中的几何畸变。

目前已有的质量评价方法可以有效识别自然图像(多重失真图像、红外图像、立体图像等)中的畸变，对DIBR合成图像中的几何畸变评价效果并不理想。研究发现自然图像临近像素间存在渐变性，即自相似性，而几何失真会破坏这种自相似性。基于此本发明使用自回归方法对图像建立局部自回归模型，通过计算合成图像与回归模型之间的重构误差识别几何失真。本发明在评价DIBR合成图像时不需要无失真图像信息，是一种无参考质量评价方法，实际应用过程中通常无失真图像是不可能得到的，因此本发明完全符合实际应用需求。DIBR合成图像的无参考质量评价方法目前尚无人研究，本发明填补了这一方向的空白，对DIBR合成图像的评价提供有效的方法。

发明内容

本发明依据建立自回归模型提出一种DIBR合成图像评价方法，可以有效识别合成图像中的失真畸变。通过IRCCyN/IVC数据库中的96副图片对该方法进行验证，实验结果表明，本发明对合成图像的评价效果明显高于已有的图像质量评价方法，皮尔逊线性相关性系数(PLCC)、斯皮尔曼排序相关性系数(SRCC)和肯德尔排序相关性系数(KRCC)分别达到0.7307、0.7157和0.5766，均优于已有的算法(最好效果分别为0.6772、0.6634和0.5382)，并且评价的均方根误差(RMSE)由最低的0.4899进一步降低到0.4546。本发明在质量评价效果和效率方面都有明显提高。

基于自回归局部图像描述的3D合成图像质量评价方法，其特征在于包括以下步骤：

第一步、建立自回归模型；

第二步、计算自回归参数；

第三步、计算图像与自回归模型预测值之间的误差；

第四步、二值化误差，将误差根据阈值变为0和1；

第五步、根据二值化误差计算图像质量得分；

第一步中：

自回归模型建立方法如下：

对于图像I中一个像素，定义其位置指标为i，值为z_i，则构造该像素与其周边像素的关系为：