[发明专利]一种基于视觉掩蔽效应的虚拟视点质量评价方法

摘要

本发明公开了一种基于视觉掩蔽效应的虚拟视点质量评价方法，其充分考虑了虚拟视点绘制失真类型，对虚拟视点图像进行偏移补偿，偏移补偿过程针对虚拟视点绘制像素点偏移等特殊失真，很好地消除了像素点位置偏移对虚拟视点图像质量的影响，使虚拟视点图像主客观质量结果更加一致；充分考虑了人眼视觉特性，提取参考图像的视觉敏感掩模图，消除了虚拟视点图像中视觉不敏感区域的失真对客观质量评价结果的影响，使客观质量评价结果更加符合人眼特性；充分地考虑了失真幅值掩蔽效应和失真分布掩蔽效应，计算虚拟视点图像的失真掩模图是为了能够将失真幅度较大、失真分布集中的区域提取出来，有效的区分不同幅值、不同分布的失真对人眼主观质量的影响。

主权项

一种基于视觉掩蔽效应的虚拟视点质量评价方法，其特征在于包括以下步骤：①选定一幅宽度为W且高度为H的参考图像；并利用多种不同虚拟视点绘制算法分别获取同一视点的虚拟视点视频；接着提取每个虚拟视点视频中的虚拟视点关键帧图像作为待评价的虚拟视点图像；再由提取出的所有待评价的虚拟视点图像构成失真图像库，其中，失真图像库中的每幅虚拟视点图像的宽度为W且高度为H；②将失真图像库中当前待评价的虚拟视点图像定义为当前虚拟视点图像；③对当前虚拟视点图像进行偏移补偿，得到当前虚拟视点图像的结构相似度值索引图，记为Iindex，具体过程为：③‑1、利用一个尺寸大小为N×N的滑动窗口，在参考图像中逐像素点移动，将参考图像划分成(W‑(N‑1))×(H‑(N‑1))个相互重叠的尺寸大小为N×N的图像块作为参考图像块；同样，在当前虚拟视点图像中逐像素点移动，将当前虚拟视点图像划分成(W‑(N‑1))×(H‑(N‑1))个相互重叠的尺寸大小为N×N的图像块作为失真图像块；其中，N≥1；③‑2、在参考图像中搜索，找出与当前虚拟视点图像中的每个失真图像块匹配最佳的参考图像块作为最佳匹配块；③‑3、计算当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值，将当前虚拟视点图像中的第k个失真图像块与其最佳匹配块的结构相似度值记为SSIMk，其中，k的初始值为1，1≤k≤(W‑(N‑1))×(H‑(N‑1))；③‑4、将当前虚拟视点图像中的每个失真图像块与其最佳匹配块的结构相似度值作为该失真图像块的中心像素点的客观评价值；③‑5、将当前虚拟视点图像中的所有失真图像块的中心像素点的客观评价值构成的图像作为当前虚拟视点图像的结构相似度值索引图Iindex，完成当前虚拟视点图像的偏移补偿，其中，Iindex的宽度为W‑(N‑1)且高度为H‑(N‑1)；④根据Iindex计算当前虚拟视点图像的失真掩模图，记为Vb，其中，Vb的宽度为W‑(N‑1)且高度为H‑(N‑1)；所述的步骤④的具体过程为：④‑1、将Iindex划分成个互不重叠的尺寸大小为M×M的图像块，其中，M≥1，符号为向下取整符号；④‑2、计算Iindex中的每个图像块的失真幅度，将Iindex中的第h个图像块的失真幅度记为dh，其中，h的初始值为1，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，1≤x'≤W‑(N‑1),1≤y'≤H‑(N‑1)，Ωh表示Iindex中的第h个图像块中的所有像素点的坐标位置构成的集合；④‑3、计算当前虚拟视点图像的失真掩模图Vb，将Vb中坐标位置为(x',y')的像素点的像素值记为Vb(x',y')，假设Iindex中坐标位置为(x',y')的像素点属于Iindex中的第h个图像块，则有其中，thr表示分割阈值；⑤计算参考图像的视觉敏感掩模图，记为Vt，其中，Vt的宽度为W且高度为H；然后对Vt进行归一化处理，得到参考图像的归一化后的视觉敏感掩模图，记为Vt'；再对Vt'进行裁剪，保留宽度为W‑(N‑1)且高度为H‑(N‑1)的中间部分，将该中间部分作为参考图像的最终的视觉敏感掩模图，记为Vt”，其中，Vt”的宽度为W‑(N‑1)且高度为H‑(N‑1)；所述的步骤⑤中Vt的获取过程为：⑤‑1、对参考图像进行均值滤波，然后对均值滤波后得到的图像中的每个像素点的像素值进行平方运算，得到参考图像的第一滤波图像，记为If，其中，对参考图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；⑤‑2、对参考图像中的每个像素点的像素值进行平方运算，然后对平方运算后得到的图像进行均值滤波，得到参考图像的第二滤波图像，记为If'，其中，对平方运算后得到的图像进行均值滤波所采用的滤波窗口的尺寸大小为5×5；⑤‑3、计算If'与If的差值图像，记为Iv，将Iv中坐标位置为(x,y)的像素点的像素值记为Iv(x,y)，其中，1≤x≤W,1≤y≤H，If'(x,y)表示If'中坐标位置为(x,y)的像素点的像素值，If(x,y)表示If中坐标位置为(x,y)的像素点的像素值；⑤‑4、利用canny算子计算参考图像的边界图像，然后对参考图像的边界图像进行膨胀，将得到的膨胀图像记为Id，其中，对参考图像的边界图像进行膨胀所采用的膨胀模版选用半径为3个像素点大小的圆；⑤‑5、根据Iv和Id，计算Iv的非边界区域掩膜图，记为Ine，将Ine中坐标位置为(x,y)的像素点的像素值记为Ine(x,y)，Ine(x,y)＝Iv(x,y)×(1‑Id(x,y))，其中，Iv(x,y)表示Iv中坐标位置为(x,y)的像素点的像素值，Id(x,y)表示Id中坐标位置为(x,y)的像素点的像素值；⑤‑6、对Ine进行均值滤波，将均值滤波后得到的图像记为Ivm，其中，对Ine进行均值滤波所采用的滤波窗口的尺寸大小为11×11；⑤‑7、根据Iv和Ivm，计算最大融合图，记为Iva，将Iva中坐标位置为(x,y)的像素点的像素值记为Iva(x,y)，Iva(x,y)＝max(Iv(x,y),Ivm(x,y))，其中，max()为取最大值函数，Ivm(x,y)表示Ivm中坐标位置为(x,y)的像素点的像素值；⑤‑8、对Iva中的每个像素点的像素值进行开方运算，将开方运算后得到的图像作为亮度对比值图像，记为E；⑤‑9、计算参考图像对应的预测图像，记为I'，将I'中坐标位置为(x,y)的像素点的像素值记为I'(x,y)，其中，χ表示参考图像中以坐标位置为(x,y)的像素点为中心且尺寸大小为R×R的窗口，R>1，Ωχ表示由χ内的所有像素点的坐标位置构成的集合，1≤x1≤W,1≤y1≤H，I(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点的像素值，In(x1,y1)表示参考图像中坐标位置为(x1,y1)的像素点与其所在的窗口的中心像素点的互信息量，In()为以自然基数e为底的对数函数，exp()为以自然基数e为底的指数函数，σ表示高斯分布的标准差，ξ表示参考图像中以坐标位置为(x1,y1)的像素点为中心且尺寸大小为R×R的窗口，Ωξ表示由ξ内的所有像素点的坐标位置构成的集合，1≤x2≤W,1≤y2≤H，(x2,y2)∈Ωξ，表示参考图像中属于Ωξ的坐标位置为(x2,y2)的像素点的像素值，表示参考图像中属于Ωχ的坐标位置为(x1,y1)的像素点的像素值，sum()表示求和函数，表示Ωξ与Ωχ中所有对应位置的像素点的像素值作差再平方后的求和运算；⑤‑10、计算参考图像与I'的差值图像，记为Iu，将Iu中坐标位置为(x,y)的像素点的像素值记为Iu(x,y)，Iu(x,y)＝|I(x,y)‑I'(x,y)|，其中，符号“| |”为取绝对值符号；然后计算Iu的香农熵，记为Hu；⑤‑11、计算参考图像的视觉敏感掩模图Vt，将Vt中坐标位置为(x,y)的像素点的像素值记为Vt(x,y)，Vt(x,y)＝fe(x,y)×fs(x,y)，其中，α'＝16，β'＝26，E(x,y)表示E中坐标位置为(x,y)的像素点的像素值，Hu(x,y)表示Hu中坐标位置为(x,y)的像素点的像素值，k1＝3.67，k2＝3.22，k3＝1.19；⑥计算当前虚拟视点图像的质量评价预测值，记为Scorecur，其中，Lcur表示当前虚拟视点图像的基线距离加权因子，1≤x'≤W‑(N‑1),1≤y'≤H‑(N‑1)，Iindex(x',y')表示Iindex中坐标位置为(x',y')的像素点的像素值，Vb(x',y')表示Vb中坐标位置为(x',y')的像素点的像素值，Vt”(x',y')表示Vt”中坐标位置为(x',y')的像素点的像素值；⑦将失真图像库中下一幅待评价的虚拟视点图像作为当前虚拟视点图像，然后返回步骤③继续执行，直至失真图像库中的所有虚拟视点图像处理完毕。