[发明专利]一种无参考三维视频质量评价方法

摘要

本发明公开了一种无参考三维视频质量评价方法，其在训练阶段，构造由原始彩色视频帧组及对应的失真彩色视频帧组构成的第一组训练集的彩色字典和彩色质量表，构造由原始深度视频帧组及对应的失真深度视频帧组构成的第二组训练集的深度字典和深度质量表，使得在测试阶段无需计算字典和质量表，避免了复杂的机器学习训练过程，且无需预知待评价三维视频序列的平均主观评分差值，适用于实际的应用场合；在测试阶段，根据彩色字典和彩色质量表、深度字典和深度质量表，分别获得每个失真彩色视频帧组和失真深度视频帧组的客观质量评价预测值，进而获得待评价的三维视频序列的客观质量评价预测值，该客观质量评价预测值与主观评价值保持了较好的一致性。

主权项

一种无参考三维视频质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取N个原始三维视频序列，原始三维视频序列由原始彩色视频序列和原始深度视频序列构成，原始彩色视频序列由T帧原始彩色图像组成，原始深度视频序列由T帧原始深度图像组成；然后从每个原始彩色视频序列中选择第i个帧组的TGOP帧原始彩色图像构成原始彩色视频帧组，同样从每个原始深度视频序列中选择第i个帧组的TGOP帧原始深度图像构成原始深度视频帧组；接着对N个原始彩色视频帧组和N个原始深度视频帧组分别进行L个不同失真强度的编码失真，将所有原始彩色视频帧组及各自对应的L个失真强度的失真彩色视频帧组构成第一组训练集，记为并将所有原始深度视频帧组及各自对应的L个失真强度的失真深度视频帧组构成第二组训练集，记为其中，原始彩色图像和原始深度图像的宽度均为W且高度均为H，N>1，T≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8，L>1，表示中的第u个原始彩色视频帧组，表示中的第u个原始彩色视频帧组对应的第v个失真强度的失真彩色视频帧组，将中的第t帧原始彩色图像记为将中的第t帧失真彩色图像记为表示中的第u个原始深度视频帧组，表示中的第u个原始深度视频帧组对应的第v个失真强度的失真深度视频帧组，将中的第t帧原始深度图像记为将中的第t帧失真深度图像记为1≤t≤TGOP，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；①_2、获取中的每个失真彩色视频帧组的特征矢量，将中的第k个失真彩色视频帧组的特征矢量记为同样，获取中的每个失真深度视频帧组的特征矢量，将中的第k个失真深度视频帧组的特征矢量记为其中，1≤k≤M，M＝N×L，和的维数均为96×1；①_3、根据中的所有失真彩色视频帧组的特征矢量构造彩色字典，记为DC，同样，根据中的所有失真深度视频帧组的特征矢量构造深度字典，记为DD，其中，符号“[]”为矢量表示符号，表示中的第1个失真彩色视频帧组的特征矢量，表示中的第M个失真彩色视频帧组的特征矢量，表示中的第1个失真深度视频序列的帧组矢量，表示中的第M个失真深度视频帧组的特征矢量；①_4、构造DC对应的彩色质量表，记为qC，同样，构造DD对应的深度质量表，记为qD，其中，表示采用中的第1个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第1个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值；所述的测试阶段过程的具体步骤如下：②_1、对于任意一个待评价的失真三维视频序列，其由失真彩色视频序列和失真深度视频序列构成，将待评价的失真三维视频序列的失真彩色视频序列和失真深度视频序列对应记为Ctest和Dtest，Ctest由T'帧失真彩色图像组成，Dtest由T'帧失真深度图像组成；然后将Ctest中的T'帧失真彩色图像分成个失真彩色视频帧组，并将Dtest中的T'帧失真深度图像分成个失真深度视频帧组；其中，失真彩色图像和失真深度图像的宽度均为W'且高度均为H'，T'≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8；②_2、按照步骤①_2的过程，以相同的操作获取Ctest中的每个失真彩色视频帧组的特征矢量和Dtest中的每个失真深度视频帧组的特征矢量，将Ctest中的第p个失真彩色视频帧组的特征矢量记为将Dtest中的第p个失真深度视频帧组的特征矢量记为其中，1≤p≤P，和的维数均为96×1；②_3、根据在训练阶段构造的彩色字典DC和Ctest中的每个失真彩色视频帧组的特征矢量，计算Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，将Ctest中的第p个失真彩色视频帧组的稀疏系数矩阵记为是通过求解得到的；同样，根据在训练阶段构造的深度字典DD和Dtest中的每个失真深度视频帧组的特征矢量，计算Dtest中的每个失真深度视频帧组的稀疏系数矩阵，将Dtest中的第p个失真深度视频帧组的稀疏系数矩阵记为是通过求解得到的；其中，符号“|| ||2”为求取矩阵的2‑范数符号，ε为误差阈值，min{}为取最小值函数；②_4、根据在训练阶段构造的彩色质量表qC和Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，计算Ctest中的每个失真彩色视频帧组的客观质量评价预测值，将Ctest中的第p个失真彩色视频帧组的客观质量评价预测值记为同样，根据在训练阶段构造的深度质量表qD和Dtest中的每个失真深度视频帧组的稀疏系数矩阵，计算Dtest中的每个失真深度视频帧组的客观质量评价预测值，将Dtest中的第p个失真深度视频帧组的客观质量评价预测值记为其中，符号“|| ||1”为求取矩阵的1‑范数符号；②_5、计算待评价的失真三维视频序列的客观质量评价预测值，记为Q，其中，表示Ctest中的第p个失真彩色视频帧组的权重系数，表示Dtest中的第p个失真深度视频帧组的权重系数，表示Ctest中的第p个失真彩色视频帧组与Dtest中的第p个失真深度视频帧组相互作用的权重系数。