[发明专利]一种多层级监控视频高效压缩编码、解码装置及方法

说明书

本发明公开一种多层级监控视频高效压缩编码、解码装置及方法，属于海量摄像头城域级视频监控应用技术领域。包括：(1)特定语义对象编码：检测出特定语义对象d_n，重构对象通过跟踪技术和关键点检测技术检测出关键点序列，传输给解码器；(2)长期背景帧建模：设置多个场景类别，用背景帧场景索引序号区分这些场景类别；编码器里检测场景类别，将背景帧索引序号传输给解码器；(3)短期背景帧建模：采用多模式预测方法，获得当前帧的短期背景帧预测值通过优化选择多模式参考预测，将编码控制参数传输给解码器；(4)前景编码：预测残差经过HEVC编码产生前景码流，经过解码后获得重构前景预测残差通过信道传输给解码器。

技术领域

本发明涉及海量摄像头城域级视频监控应用技术领域，具体涉及一种多层级监控视频高效压缩编码、解码装置及方法。

背景技术

安防应用大部分摄像头针对固定场景，视频信号有自身特点：(1)一段时间内背景基本不变化或变化较小，相对于广播电视、视频网站等应用而言，背景帧建模可为更高效编码提供可能；(2)公安城市雪亮工程部署了海量摄像头，这些摄像头的数据绝大部分是无效的，不会给人看的，绝大部分信息是给机器看的。(3)智能安防应用常关注特定语义的目标对象，如场景中的行人、车辆、人脸、车牌等，这种特定语义对象是城域级检索、大数据分析等实际应用重点关注的。

现有技术缺陷：早期MPEG-4面向对象的编码技术，也关注到面向检索的应用。但是2000年前机器视觉、目标检测技术发展还不够成熟，导致这一标准无法真正实际应用。近年来，随着深度学习技术发展以及计算平台算力不断强大，使得特定语义的目标对象高性能检测成为可能。近年来基于深度学习端到端图像编码框架获得了突破，深度学习表达的高维特征向量可以作为紧凑检索描述子，可为压缩和检索双目标驱动的深度特征提取、表示和编码提供可能。

但是上述工作从不同角度做了探索。针对海量摄像头集群感知，面向机器理解视频编码这样的场景，视频数据编码压缩的诉求和传统视频编码有较大差异。如何有效利用视频数据空-时-Camer多维度数据冗余，在保证机器感知理解效率前提下，有效实现数据编码压缩仍未解决。

发明内容

针对现有技术存在的问题，本发明重点关注上述特点，充分利用视频数据空-时-Camer多维度数据冗余，针对性提出多层级高效视频编码算法框架。

一种多层级监控视频高效压缩编码方法，包括以下层级：

(1)特定语义对象编码：检测出特定语义对象d_n，重构对象通过跟踪技术找到时域轨迹，通过关键点检测技术为目标对象在时域轨迹上的所有版本检测出关键点序列，仅把关键序列结构化信息传输给解码器；

(2)长期背景帧建模：设置多个场景类别，用背景帧场景索引序号区分这些场景类别；在摄像头安装时通过离线训练方法构建出背景帧a_n；编码器里检测场景类别，获得长期背景帧将背景帧索引序号传输给解码器；

(3)短期背景帧建模：假设当前帧f_n前面邻近帧f_n-1f_n-2已经获得了解码重构版采用多模式预测方法，获得当前帧的短期背景帧预测值通过优化选择多模式参考预测，选择合适参考帧和加权预测系数，将编码控制参数传输给解码器；

(4)前景编码：预测残差经过HEVC编码产生前景码流，经过解码后获得重构前景预测残差通过信道传输给解码器。

进一步的，所述的步骤(1)中利用深度学习检测器检测出特定语义对象d_n，所述语义对象包括行人、车辆、人脸，经过压缩和检索双目标驱动的特征提取、表示和编码，经过反卷积获得解码重构对象

进一步的，所述的步骤(4)中特定语义对象，直接将预测残差c_n设置为0。