[发明专利]一种降参考三维视频质量评价方法

摘要

本发明公开了一种降参考三维视频质量评价方法，其通过基于深度图像绘制的方法，绘制得到多个虚拟视点绘制视频，并构造得到四维空间图，由于所构造的四维空间图同时考虑了彩色和深度视频失真对虚拟视点绘制质量的影响，这样与直接对三维视频进行操作相比，能够更好地衡量彩色和深度视频失真对虚拟视点绘制的影响，从而有效地提升了对三维视频的评价性能；根据四维空间图中所有四维空间体的不同子带和频带的DCT系数统计特征，通过计算系数距离和频率比距离信息，来计算待评价的失真的三维视频的客观质量评价预测值，从而只需要较少的信息就能够较好地反映三维视频的质量变化情况。

主权项

一种降参考三维视频质量评价方法，其特征在于包括以下步骤：①令Sorg表示原始的无失真的三维视频，令Sdis表示Sorg经失真后得到的三维视频，将Sdis作为待评价的失真的三维视频；将Sorg的左视点视频和右视点视频对应记为Lorg和Rorg，将Sdis的左视点视频和右视点视频对应记为Ldis和Rdis；将Lorg中t时刻的左视点图像记为{Lorg,t(x,y)}，将Rorg中t时刻的右视点图像记为{Rorg,t(x,y)}，将Ldis中t时刻的左视点图像记为{Ldis,t(x,y)}，将Rdis中t时刻的右视点图像记为{Rdis,t(x,y)}；其中，1≤t≤T，1≤x≤W，1≤y≤H，T表示Lorg中包含的左视点图像的总帧数，也即Rorg中包含的右视点图像的总帧数，也即Ldis中包含的左视点图像的总帧数，也即Rdis中包含的右视点图像的总帧数，W表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的宽度，H表示Lorg中的左视点图像、Rorg中的右视点图像、Ldis中的左视点图像、Rdis中的右视点图像的高度，Lorg,t(x,y)表示{Lorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值，Rorg,t(x,y)表示{Rorg,t(x,y)}中坐标位置为(x,y)的像素点的像素值，Ldis,t(x,y)表示{Ldis,t(x,y)}中坐标位置为(x,y)的像素点的像素值，Rdis,t(x,y)表示{Rdis,t(x,y)}中坐标位置为(x,y)的像素点的像素值；②采用基于深度图像绘制的方法，并选取6个介于左视点和右视点之间且视点间距相同的虚拟视点，根据Lorg中每个时刻的左视点图像和Rorg中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像，将根据{Lorg,t(x,y)}和{Rorg,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sorg对应的第1个虚拟视点绘制视频，记为并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sorg对应的第2个虚拟视点绘制视频，记为将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sorg对应的第3个虚拟视点绘制视频，记为将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sorg对应的第4个虚拟视点绘制视频，记为将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sorg对应的第5个虚拟视点绘制视频，记为将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sorg对应的第6个虚拟视点绘制视频，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；同样，采用基于深度图像绘制的方法，并选取介于左视点和右视点之间且视点间距相同的虚拟视点，根据Ldis中每个时刻的左视点图像和Rdis中对应时刻的右视点图像绘制得到对应时刻的6幅虚拟视点图像，将根据{Ldis,t(x,y)}和{Rdis,t(x,y)}绘制得到的t时刻的6幅虚拟视点图像对应记为和然后将绘制得到的第1个虚拟视点的T幅虚拟视点图像构成Sdis对应的第1个虚拟视点绘制视频，记为并将绘制得到的第2个虚拟视点的T幅虚拟视点图像构成Sdis对应的第2个虚拟视点绘制视频，记为将绘制得到的第3个虚拟视点的T幅虚拟视点图像构成Sdis对应的第3个虚拟视点绘制视频，记为将绘制得到的第4个虚拟视点的T幅虚拟视点图像构成Sdis对应的第4个虚拟视点绘制视频，记为将绘制得到的第5个虚拟视点的T幅虚拟视点图像构成Sdis对应的第5个虚拟视点绘制视频，记为将绘制得到的第6个虚拟视点的T幅虚拟视点图像构成Sdis对应的第6个虚拟视点绘制视频，记为其中，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；③将Lorg、和Rorg按各自所在的视差平面的坐标位置从小到大的顺序排列，构成Sorg的四维空间图，记为{DSIorg(x,y,t,d)}；其中，dmax表示左视点和右视点的视差平面的最大坐标位置，d＝0代表左视点的视差平面的坐标位置，代表第1个虚拟视点的视差平面的坐标位置，代表第2个虚拟视点的视差平面的坐标位置，代表第3个虚拟视点的视差平面的坐标位置，代表第4个虚拟视点的视差平面的坐标位置，代表第5个虚拟视点的视差平面的坐标位置，代表第6个虚拟视点的视差平面的坐标位置，d＝dmax代表右视点的视差平面的坐标位置，当d＝0时DSIorg(x,y,t,d)＝Lorg,t(x,y)，当时当时当时当时当时当时当d＝dmax时DSIorg(x,y,t,d)＝Rorg,t(x,y)；同样，将Ldis、和Rdis按各自所在的视差平面的坐标位置从小到大的顺序排列，构成Sdis的四维空间图，记为{DSIdis(x,y,t,d)}；其中，当d＝0时DSIdis(x,y,t,d)＝Ldis,t(x,y)，当时当时当时当时当时当时当d＝dmax时DSIdis(x,y,t,d)＝Rdis,t(x,y)；④将{DSIorg(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体；然后对{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换，得到{DSIorg(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数；同样，将{DSIdis(x,y,t,d)}划分成个互不重叠的尺寸大小为8×8×8×8的四维空间体；然后对{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点进行离散余弦变换，得到{DSIdis(x,y,t,d)}中的每个四维空间体中的每个像素点的DCT系数；⑤计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的系数距离，记为Q1；⑥计算{DSIorg(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数与{DSIdis(x,y,t,d)}中的所有四维空间体中的所有像素点的DCT系数之间的频率比距离，记为Q2；⑦计算Sdis的客观质量评价预测值，记为Q，Q＝λ×Q1+(1‑λ)×Q2；其中，λ为加权参数。