[发明专利]基于三维卷积神经网络的通用型无参考视频质量评价算法

摘要

本发明公开了一种基于三维卷积神经网络的通用型无参考视频质量评价算法，该方法包括3DConvNets模型训练阶段和质量评价阶段两个部分。与现有技术相比，本发明的基于三维卷积神经网络的通用型无参考视频质量评价算法能够较为准确地评价多种失真类型，并且在面对不同视频库时保持稳定的评价准确度，性能稳定性好，并且质量评价的计算复杂度显著低于目前主流的无参考视频质量评价算法，评价速度更快。

主权项

1.一种基于三维卷积神经网络的通用型无参考视频质量评价算法，其特征在于，该算法包括3D ConvNets模型训练阶段和质量评价阶段两个部分，具体步骤如下：/n所述3D ConvNets模型训练阶段的训练过程具体描述如下：/n根据视频质量库中训练视频的主观评价分数，将训练视频按失真程度的不同分为10组，并且给这10组视频分配0,1,2,…,9共10个不同的标签，将这些带有标签的视频输入3DConvNets中；/n随机初始化3D ConvNets中卷积层、池化层和全连接层的各个权重及偏置参数，第一次迭代开始；输入视频在3D ConvNets中按视频块进行卷积和池化运算；前两个卷积层和池化层提取出的都是视频的低等级特征，后面卷积层、池化层以及全连接层提取的是视频的高等级抽象特征；/n在3D ConvNets中经过一系列运算后，最后一层输出的10维特征向量及其对应的标签被输入进softmax with loss层中，在这一层里，首先利用softmax根据特征向量对输入视频分类，得到预测标签，然后将预测标签与输入的标签进行比较，计算损失Loss；/n第一次迭代结束，通过反向传播根据Loss调整3D ConvNets中卷积层、池化层以及全连接层中的各个权重及偏置参数，之后开始第二次迭代；/n不断进行迭代和反向传播调整权重及偏置参数，直到输出的Loss足够小为止，此时的3D ConvNets就是已经训练好的能够有效提取失真视频质量特征的卷积神经网络模型；/n所述质量评价阶段的评价过程具体描述如下：/n将每一个输入的失真视频分为一个个帧长为16的视频段，每两个连续的视频段之间有8帧的重叠区间，将这些视频段输入3D ConvNets中，把第7个全连接层的输出向量作为提取出来的特征，对一个失真视频所有视频段的特征取平均得到维数是4096的特征向量A_a，表示为：/nA_a＝(x₁,x₂,...,x₄₀₉₆) (1)/n对A_a进行L2范数规则化以避免出现过拟合，计算方法为：/n /n其中，x₁,x₂,...,x₄₀₉₆是向量A_a的各个元素，||A_a||₂指向量A_a的二范数，(y₁,y₂,...,y₄₀₉₆)是规则化后的特征向量；/n去除特征向量中的冗余部分，保留有用信息，同时也是为之后与V-BLIINDS算法进行平等的性能比较，使用主成分分析的方法降低F的维数为46，得到最终的视频质量特征(f₁,f₂,...,f₄₆)；/n利用线性SVR预测失真视频的质量分数，实现过程分为两步：首先对训练集中的视频提取质量特征，连同其对应的主观评价分数有监督训练线性SVR模型，建立视频特征与质量分数的映射关系；然后提取测试集视频的质量特征，将特征输入已经训练好的线性SVR中，通过映射函数计算出最终的质量分数。/n