[发明专利]一种人机协同的视频编码方法及视频编码系统

权利要求书

1.一种人机协同的视频编码方法，其步骤包括：

1)对于一段待编码视频以及对应的关键点序列，编码器首先对所述关键点序列进行编码压缩，形成关键点序列码流；然后从待编码视频中选取一帧并编码，作为参考帧，形成参考帧码流；然后根据关键点序列和参考帧，利用低分辨率预测网络生成一预测视频；其中，训练得到所述低分辨率预测网络的方法为：

11)生成或选取一训练数据集；其中训练数据包括视频和对应的关键点序列；

12)初始化待训练神经网络的参数；

13)从训练数据的视频中随机选取一帧以及对应的关键点，并获取所选视频的第一帧作为参考帧；

14)按照视频分辨率初始化所选帧中像素值全为0的图像，在每个关键点位置上，画出RGB像素值均为255的圆形，根据关键点对应的骨骼结构，在存在骨骼连接的两个关键点之间，画出像素值均为255的线段，形成关键点图；

15)将该关键点图与参考帧分别降采样后进行拼接；

16)使用Pixel2Pixel网络结构，设置网络输入为拼接之后拼接图像；设置网络输出为降采样后的所选帧；

17)按照Pixel2Pixel的训练方法和参数，训练网络，更新网络中的参数；

18)重复步骤13)～17)直到该神经网络收敛，将收敛后的该神经网络作为低分辨率预测网络；

2)降低该待编码视频的分辨率得到一真实低分辨率视频；计算该真实低分率视频与预测视频信号之间的残差，根据各帧的残差组成一残差视频序列并将其编码成残差码流；

3)编码器根据客户端需求将所述关键点序列码流、参考帧码流和残差码流选择性的传输到解码器；如果为机器视觉任务，则解码器根据所述关键点序列码流重建得到关键点序列；如果需要重建视频序列，则根据所述参考帧码流重建得到参考帧，根据重建得到的关键点序列和重建得到的参考帧预测得到低分辨率预测视频；然后通过解码所述残差码流，获得低分辨率残差信号，然后利用低分辨率残差信号对预测得到的低分辨率预测视频进行补偿；然后解码器根据参考帧和补偿后的视频，使用条件超分辨率生成网络，重建得到原分辨率视频；其中，训练得到所述条件超分辨率生成网络的方法为：

21)选取或生成一数据集；该数据集包括一组视频和对应的一组关键点序列；对每一视频i降采样，得到低分辨率视频，并生成视频i的预测视频；计算视频i的低分辨率视频和视频i的预测视频之间的信号差值，得到视频i的残差视频序列；

22)对所述残差视频进行有损编码并解码，将解码之后的残差视频与视频i的预测视频相加，得到补偿后的低分辨率视频；

23)随机初始化待训练深度神经网络的参数；

24)随机选取一个补偿后的低分辨率视频和对应的原始视频；选取该原始视频的第一帧作为参考帧，从所选补偿后的低分辨率视频中随机选取一帧a，从该原始视频中选取与该帧a对应的一帧a’；

25)使用BiCubic采样方法，对帧a进行上采样，使其分辨率与原始视频一致；然后在通道维度上，将该上采样后的帧a与步骤24)所选的参考帧进行拼接；

26)使用Pixel2Pixel网络结构，设置网络输入为拼接得到的拼接图；设置网络输出为帧a’；

27)按照Pixel2Pixel的训练方法和参数，训练网络，更新网络中的参数；

28)重复步骤24)～27)，直到该深度神经网络收敛；将收敛后的该深度神经网络作为条件超分辨率生成网络。

2.如权利要求1所述的方法，其特征在于，使用LZMA算法对关键点序列进行无损压缩编码，得到关键点序列码流；使用HEVC帧内编码器，对待编码视频的第一帧进行编码得到参考帧码流。

3.如权利要求1所述的方法，其特征在于，根据客户端需求，选择性传输关键点序列码流、参考帧码流以及残差码流三者中的全部或部分码流。