[发明专利]基于多模态学习的无参考合成视频质量评价方法

权利要求书

1.基于多模态学习的无参考合成视频质量评价方法，其特征在于，包括：

S1：获取待评价的虚拟视点视频；

S2：基于光流估计将待评价的虚拟视点视频分解成若干个时空域的图像；

S3：将各个时空域的图像输入至预训练的卷积神经网络学习模型，提取虚拟视点视频的深度特征；

S4：将各个时空域的图像输入至经过训练的稀疏字典学习模型，提取虚拟视点视频的稀疏特征；

S5：基于虚拟视点视频的深度特征和稀疏特征进行加权回归，进而计算对应的虚拟视点质量评价分数作为待评价虚拟视点视频的质量评价结果。

2.如权利要求1所述的基于多模态学习的无参考合成视频质量评价方法，其特征在于：步骤S2中，基于光流估计将虚拟视点视频分解成空间域、垂直时域和水平时域三个时空域的图像；

其中，虚拟视点视频表示为宽度为W、高度为H、帧长为N的三维数据；

空间域的图像表示由N幅W×H大小的图像组成；

垂直时域的图像表示由W_VD幅N×H大小的图像组成；

水平时域的图像表示由H_HD幅W×N大小的图像组成。

3.如权利要求2所述的基于多模态学习的无参考合成视频质量评价方法，其特征在于：步骤S2中，通过如下步骤确定垂直时域和水平时域的图像位置和图像数量：

S201：估计空间域中第1帧和第k帧的光流图、第k+1帧和第2k帧的光流图、第2k+1帧和第3k帧的光流图，依次类推得到若干张光流图；其中，k表示前后帧重复的自适应帧间隔阈值；

S202：计算每张光流图中的最大像素值，并基于各张光流图中最大像素值的坐标(x,y)分别定位垂直时域中第x张图像和水平时域中第y张图像的图像位置；

S203：基于空间域的图像数量N和自适应帧间隔阈值k确定垂直时域的图像数量W_VD和水平时域的图像数量H_HD；其中，W_VD＝H_HD＝N/k。

4.如权利要求2所述的基于多模态学习的无参考合成视频质量评价方法，其特征在于：步骤S3中，将预训练的ResNet-50网络作为预训练的卷积神经网络学习模型；

将空间域、垂直时域和水平时域的图像输入预训练的ResNet-50网络中，分别提取得到空间域的深度特征、垂直时域的深度特征和水平时域的深度特征。

5.如权利要求4所述的基于多模态学习的无参考合成视频质量评价方法，其特征在于：通过如下公式表示空间域的深度特征F_SD,de、垂直时域的深度特征F_VD,de和水平时域的深度特征F_HD,de：

式中：N、W_VD、H_HD分别表示空间域、垂直时域和水平时域的图像数量；表示第t₁张图像的第2048个卷积神经元，t₁为空间域中的图像数量索引，t₁＝1,2,...,N；表示第t₂张图像的第2048个卷积神经元，t₂为垂直时域中的图像数量索引，t₂＝1,2,...,W_VD；表示第t₃张图像的第2048个卷积神经元，t₃为水平时域中的图像数量索引，t₃＝1,2,...,H_HD。

6.如权利要求2所述的基于多模态学习的无参考合成视频质量评价方法，其特征在于：步骤S4中，通过如下步骤训练稀疏字典学习模型：

S401：获取自然视频作为训练样本；

S402：将训练样本分解成空间域、垂直时域和水平时域三个时空域的训练图像；

S403：分别将空间域、垂直时域和水平时域三个时空域的训练图像划分为图像块进行字典训练，得到空间域字典、垂直时域字典和水平时域字典并构成稀疏字典学习模型。