[发明专利]无参考视频质量评估方法、系统、视频接收器、智能终端

权利要求书

1.一种无参考视频质量评估方法，其特征在于，所述无参考视频质量评估方法包括以下步骤：

第一步，将失真视频数据库中的视频按照一定的比例划分为训练集和测试集，并对每一个视频进行预处理；

第二步，搭建循环嵌套神经网络架构，并载入预训练的权重到骨干网络中；

第三步，对于骨干网络得到的输出进行时域下采样，并分别对分支循环神经网络进行预训练得到视频质量评价的先验模型；

第四步，载入每个分支循环神经网络的权重，利用训练集数据对建立的先验模型网络参数进行微调以获取通用无参考的视频质量评价模型；

第五步，对于测试集中待测试的视频，利用已建立的通用无参考的视频质量评价模型，自动实现失真视频的无参考质量评价。

2.如权利要求1所述的无参考视频质量评估方法，其特征在于，所述第一步将失真视频数据库中的视频按照一定的比例划分为训练集和测试集，并对每一个视频进行预处理具体包括：将1200个失真视频随机等分为10个子集，每个视频子集包含120个失真视频，按照8:2的比例划分成训练集和测试集，训练集的作用是在训练过程中进行网络模型优化，测试集的作用是检测网络模型对于没有见过的数据的预测能力；对失真视频进行了均匀采样获取图像序列作为每个视频的输入；利用卷积神经网络训练模型，统计训练数据中样本视频的图像序列的均值和标准差，对所有的样本视频中的图像序列进行去均值和除标准差操作，得到预处理后的视频。

3.如权利要求1所述的无参考视频质量评估方法，其特征在于，所述第二步搭建循环嵌套神经网络框架，并载入预训练的权重到骨干网络中具体包括：首先，搭建的深度循环嵌套神经网络由骨干网络模型、一个空间金字塔池化层、一个全连接层和一个循环嵌套解码器组成；其中，骨干网络模型由去掉顶上的全连接层的ResNet-50网络组成；空间金字塔池化层接受任意尺寸大小的特征图，并用三个尺寸大小的池化窗口对每张特征图做平均池化，池化窗口分别是1倍、1/4倍和1/16倍图像大小；最终可以得到固定长度的特征向量1+4+16＝21；全连接层用于对特征向量的维度进行降维，由256个隐藏节点构成；循环嵌套解码器由一个循环嵌套模块和一个深度监督模块组成，循环嵌套模块用于对提取到的特征进行时序建模，深度监督模块用于帮助损失函数更好地收敛，循环嵌套解码器输出最后的预测分数；

其次，利用在ImageNet图像分类数据库上预训练的权重作为骨干网络进行权重初始化的参数，选用去掉全连接层的ResNet-50网络作为骨干网络；采用后置融合的方法解决预训练权重加载的问题；输入到网络中的图像序列尺寸为16×10×224×224×3，其中16代表批大小，10代表图像序列中帧数，3代表彩色图像的三个颜色通道；在输入到骨干网络之前，把第二维与第一维进行融合，得到160×224×224×3这种尺寸的输入，载入预训练权重进行训练；在训练完成后，再将第一维度的160分离成16×10，得到属于每个视频的图像序列的输出。

4.如权利要求2所述的无参考视频质量评估方法，其特征在于，所述第三步对于骨干网络得到的输出进行时域下采样，并分别对分支循环神经网络进行预训练得到视频质量评价的先验模型具体包括：对于一个视频对应的图像序列，对其进行3次时间尺度上的下采样，会得到4个长度不一样的序列，将每个序列长度对应的分支循环神经网络替换掉循环嵌套解码器，直接输出得到视频对应的预测；

网络模型训练采用随机梯度下降法SGD进行参数优化，并利用交叉熵作为损失函数，计算公式：

其中，y_n和分别为视频的质量分数的真实结果和预测结果，N为训练视频数量，通过梯度优化方法对网络模型参数进行训练，直至计算的损失函数结果小于0.0001为止，并将权重保存；将所有4个预训练得到的双层分支循环神经网络的权重分别加载到每个尺度的第一个和第二个循环神经网络中，构成视频质量评价的先验模型。