[发明专利]一种人机协同的视频编码方法及视频编码系统

说明书

本发明公开了一种人机协同的视频编码方法及视频编码系统。本方法为：1)对于一段待编码视频以及对应的关键点序列，编码器首先对关键点序列进行编码压缩，形成关键点序列码流；然后从待编码视频中选取一帧并编码，作为参考帧，形成参考帧码流；根据关键点序列和参考帧生成一预测视频；2)降低该待编码视频的分辨率；计算该真实低分率视频与预测视频信号之间的残差，根据各帧的残差组成一残差视频序列并将其编码成残差码流；3)编码器根据需求将码流选择性的传输到解码器；如果为机器视觉任务，则根据关键点码流重建得到关键点序列；如果需要重建视频序列，则根据三码流重建得到原分辨率视频。本发明根据应用需求，提供可伸缩的视频编码。

技术领域

本发明主要涉及视频压缩编码以及视频处理与理解技术，尤其涉及一种人机协同的视频编码方法。

背景技术

近年来，影像采集技术获得了长足发展，带动了基于影像的人工智能系统的突飞猛进，机器视觉系统逐渐被广泛应用于日常生活的方方面面，越来越多的被采集的图像需要被机器视觉系统所处理分析，图像视频编码器的设计需要逐渐关注机器视觉系统的应用需求。

人眼视觉与机器视觉需求的区别主要体现在两个方面。其一，人眼直接接受图像信号，因此信号的保真度是人眼视觉质量的关键因素；而机器视觉系统对图像的分析基于图像特征，相比于图像信号，图像特征表示往往更加紧凑，因此传输图像特征表示所需要的码率远远小于图像信号本身。其二，人眼作为传统视频编解码框架的主要终端需要直接接受图像信号，因此以上述框架为基础的机器视觉终端，其分析运算需要在解码器后进行。随着硬件技术的发展，智能影像采集设备具有一定的运算处理能力，因此为机器视觉设计的编解码框架能够进行分布式的运算处理，其整体性能能够被进一步提升。

在过去的几十年间，为人眼视觉优化的高效视频编解码器已经取得了巨大的进步，而随着计算机视觉技术的发展，图像生成和重建问题逐渐得到解决，以上技术使得人机协同的视频编解码器的实现成为可能。

发明内容

本发明在上述技术背景的前提下，构建基于条件生成模型的人机协同的视频编码方法及视频编码系统。具体来说，本发明分为编码器和解码器两个部分。编码器接受来自采集设备的视频以及对应的视频中运动的人体的关键点信息(采集设备对采集的视频进行处理得到关键点信息)。对于一段待编码视频片段以及对应的关键点序列，本发明中的编码器首先对关键点序列进行无损编码压缩，形成关键点序列码流。然后，使用视频编码器编码待编码视频的第一帧，作为参考帧，形成参考帧码流。参考帧与关键点序列两者能够在一定程度上分别表达视频中人的外貌信息和动作信息。根据关键点序列中的关键点，进一步产生关键点图。具体来说，首先按照参考帧分辨率初始化全为0的图像，在每个关键点位置上，画出RGB像素值均为255的圆形，根据关键点对应的骨骼结构，在存在骨骼连接的两个关键点之间，画出像素值均为255的线段，形成关键点图。关键点图与参考帧均降采样到低分辨率(短边为128像素)，两图在通道维度上拼接后，使用Pixel2Pixel网络结构，在编码器中形成大致的包含动作的预测视频。由于全分辨率的预测较为困难，实际上，在编码器中会根据关键点序列和低分辨率参考帧形成低分辨率预测视频。

预测出的低分辨率视频，与待编码视频在降低分辨率之后得到的真实低分辨率视频之间仍然存在差异，为了减少由于码率较小导致的最终解码器的重建降质，在本发明中，首先计算真实低分辨率视频与预测的低分辨率视频信号之间的残差，视频中每一帧的残差被重新组成为残差视频序列，使用视频编码器编码成残差码流。残差码流中包含了对预测误差的补偿。