[发明专利]一种面向视频传输质量的深度学习图像评价方法

权利要求书

1.一种面向视频传输质量的深度学习图像评价方法，其特征在于，所述方法包括：

A构造一对用于评价图像质量的结构相同、权重共享的孪生神经网络，孪生神经网络两端输入尺寸分别为X×Y×3的目标图像块和参考图像块，输出特征图像，对特征图像进行特征融合，回归得到评价分数，根据损失函数及数据标签与评价分数，更新网络参数；所述X为图像块在宽度方向上的像素数、Y为图像块在高度方向上的像素数、3为图像块的颜色通道数；

B设置孪生神经网络训练超参数，包括学习率Learning_Rate、学习衰减率Decay_Rate、最大训练步数Max_Steps、学习率衰减步数Decay_Step、批训练量Batch_Size、训练图像尺寸M×N×3、单张图像采样量Sample_num、与数据集的设置；所述数据集包括训练集、验证集与测试集；M为训练图像在宽度方向上的像素数、N为训练图像在高度方向上的像素数、3为训练图像的颜色通道数；

C目标图像与参考图像分割成m×n块尺寸符合孪生神经网络输入的目标图像块与参考图像块，并按照横向每k_m个图像块取1个、纵向每k_n个图像块取1个的方式对目标图像与参考图像降采样；

D完成神经网络训练，得到训练模型，实际部署后即可实时评价视频流输入的目标图像质量；

所述步骤A中，目标图像块与参考图像块尺寸分别为64×64×3；所述孪生神经网络由卷积层、池化层、特征融合、全连接层组成；所述卷积层采用激活函数为ReLu函数，卷积核大小均为3×3；所述池化层采用最大池化，池化核大小为2×2；所述全连接层包含两层；

所述卷积层中每次卷积前对特征图像进行边界填充，第1个卷积层输出16张特征图像，每2次卷积输出特征图像进行1次池化，总共进行12次卷积操作；

所述池化层中假设参考图像池化后特征图像为I_reference、目标图像池化后特征图像为I_target，将I_reference-I_target得I_difference，对I_reference、I_target和I_difference进行数据合并得到I_feature，完成特征融合；

所述步骤C中，每行、每列图像块数量m，n计算方法为：

其中div为相除取整，mod为相除取余；

用P_i,j表示第i行、第j列个图像块，I_l:r,u:d表示图像I_reference或I_target上第l行至第r行，第u列至第d列之间的区域，则P_i,j为：

所述步骤B、C中，根据m、n、k_m、k_n，可计算出Sample_num：

Sample_num＝(mdivk_m)×(n divk_n)

选取的图像块为：

P_i,j if1≤i≤n,1≤j≤m,(i-1)modk_n＝0,(j-1)modk_m＝0；

所述步骤A中，通过孪生神经网络生成第t个目标图像块的质量分数q_t、权重w_t、偏置b_t，并对权重归一化得到w_t′：

计算偏置平均值得到b′：

由此计算出目标图像质量评价分数为：

w′为所有采样的目标图像块的归一化权重组成的向量，q为所有采样的目标图像块的质量分数组成的向量。

2.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤A中，数据集中目标图像质量标签为Q，单次训练包含Batch_size次图像质量评价，单次训练评价分数和标签向量分别和Q，则其损失函数Loss为：

单次训练结束后根据损失函数，利用随机梯度下降算法更新孪生神经网络的参数。

3.如权利要求1所述的面向视频传输质量的深度学习图像评价方法，其特征在于，所述步骤B中，Learning_Rate设置为0.001，Decay_Step设置为1000步，Decay_Rate设置为0.9每Decay_Step，Max_Steps设置为200000步，Batch_Size设置为10，训练图像尺寸为512×384×3，由于图像块尺寸为64×64×3，故可分成8×6个小图像块，再按每行2个取一个，每列2个取1个方式，故Sample_num设置为4×3＝12块，训练集、验证集、测试集按照数据集60％，20％，20％比例随机抽取组成。