[发明专利]一种基于深度学习的自适应视频编码方法

摘要

本发明公开了一种基于深度学习的自适应视频编码方法。所述方法包括以下步骤：利用多样化的视频资料库生成训练数据和测试数据；构建深度学习的神经网络模型；所述神经网络模型包括卷积神经网络CNN特征提取器、长短期记忆网络LSTM特征提取器、全连接层以及输出层；使用训练数据对深度学习的神经网络模型进行训练；使用测试数据对训练好的模型进行验证；应用所述神经网络模型得到预测的CRFoptimal(v)的取值；根据得到的CRFoptimal(v)进行视频压缩。该方法对每个视频较准确地预测满足视频质量评价分数的编码参数，从而实现满足用户体验前提下视频编码的码率自适应。

主权项

1.一种基于深度学习的自适应视频编码方法，其特征在于，包括以下步骤：(1)利用多样化的视频资料库生成训练数据和测试数据；(1.1)对样本视频数据使用不同的固定码率系数CRF进行压缩编码；(1.2)对每个已编码的视频按照一视频质量评价体系进行评分；(1.3)针对每个样本视频v，选取使得编码的视频能够达到一个满意的质量分数SCORE_TARGET的最大的CRF，记为CRF_optimal(v)，当CRF设置为CRF_optimal(v)时，压缩的视频在达到一个满意的视觉效果的同时能够节省最多的码率；(1.4)把样本数据按照一定的比例随机分为训练数据和测试数据；(2)构建深度学习的神经网络模型；所述神经网络模型包括卷积神经网络CNN特征提取器、长短期记忆网络LSTM特征提取器、全连接层以及输出层，所述全连接层分别与所述CNN特征提取器、所述LSTM特征提取器、所述输出层相连；(2.1)所述CNN特征提取器通过CNN模型提取视频空间域的特征；(2.2)所述LSTM特征提取器通过LSTM模型来提取视频时间域的特征；(2.3)所述全连接层融合上述提取的视频空间域的特征和时间域的特征，进行CRF_optimal(v)的预测；(2.4)输出层的输出值为预测的CRF_optimal(v)的值；(2.5)计算所述神经网络模型的损失函数L₂：其中m表示样本的个数，表示CRF的预测值，CRF⁽ⁱ⁾表示样本数据i的CRF实际值，表示对样本数据i的预测值；利用所述损失函数L₂对所述神经网络模型中各层的参数进行调整；(3)使用训练数据对深度学习的神经网络模型进行训练；(4)使用测试数据对训练好的模型进行验证；(5)应用所述构建的神经网络模型；(5.1)把输入视频作为输入送到训练好的深度学习的神经网络模型中；(5.2)在模型的输出端得到预测的CRF_optimal(v)的取值；(6)视频压缩：编码器对输入的视频v进行压缩编码，CRF设置为CRF_optimal(v)，输出编码视频码流。