[发明专利]基于多分支循环卷积神经网络的HEVC帧间快速方法

摘要

本发明涉及一种基于多分支循环卷积神经网络的HEVC帧间快速方法，属于视频编码领域，方法包括：首先使用多分支卷积神经网络，对每个CTU进行预处理，并分别作为不同分支的卷积神经网络的输入，经过卷积计算之后，将得到的特征进行全连接，分为三个分支输出特征向量，再利用循环神经网络将特征向量和上一时刻的状态向量进行处理，并加入不同QP值的考量，最终输出三个分支的分类结果，三个分支分别对应每个CTU中深度等级0、1或2，判断三个深度等级的CU是否继续划分或者停止划分。本发明一种基于多分支循环卷积神经网络的HEVC帧间快速方法能够减少编码器计算开销，在保持编码性能基本不变的情况下，减少编码时间。

主权项

1.一种基于多分支循环卷积神经网络的HEVC帧间快速方法，其特征在于，包括：数据收集，选取多种纹理不同的视频，选取前25帧在不同QP下用原始HEVC编码器进行编码，将每个编码树单元CTU中三种不同深度等级的编码单元CU是继续划分或者终止划分的结果作为标签，所有标签记录在一个CTU中，作为训练集；数据训练，对于训练集每一帧中的CTU，进行快速预编码获得残差CTU的亮度信息，将残差CTU进行去均值以及降采样的预处理，输出三个降采样程度不一的CTU作为每个分支的卷积神经网络的输入，随后进行四次卷积计算，每次卷积的卷积核不重叠；接下来将卷积结果输入到一维的全连接层中，再分为三个分支输出特征向量，随后把输出的特征向量输入到循环神经网络中，在循环神经网络中，除了接受当前时刻的输入向量还输入上一时刻卷积神经网络产生的状态向量，由此更新当前时刻卷积神经网络的状态向量和输出向量，然后将输出向量和对应QP值进行两次全连接，最后再次分成三个分支输出，经过数据训练后得到一个用于HEVC帧间编码的网络；数据测试，选取20种不同分辨率不同视频内容的视频序列作为测试集，每一帧图像在编码之前，输入到训练好的用于HEVC帧间编码的网络中，判断每个CTU中不同深度等级CU的分类结果，并记录下来。随后在编码时，对记录的CU进行提前终止划分或者继续划分的判断。