[发明专利]一种任务驱动的码流结构化图像编码方法

说明书

本发明涉及一种任务驱动的码流结构化图像编码方法，包括：码流结构化编码器和解码器，码流结构化编码器实现输入图像的结构化表示和压缩，解码器根据压缩得到的特征对输入图像进行重构；所述码流结构化编码器包括：特征提取、目标检测、量化、预测编码过程和基于对象的码流划分过程；本发明对图像进行编码，编码过程中在特征层面检测对象，并基于检测结果进行结构化码流的生成，以实现根据不同的智能分析任务针对性选择部分结构化码流或者全部码流进行解析的目的，使得图像编码传输应用这一过程更为高效和灵活。

技术领域

本发明涉及一种任务驱动的码流结构化图像编码方法，属于图像编码和深度学习技术领域。

背景技术

现有的基于学习的图像压缩方法，多从率失真的角度考虑进行优化的。但随着深度学习应用相关研究工作的逐步深入和成熟，图像或者视频信息在越来越多的场合会被用作机器智能分析任务的输入，例如监控视频分析、自动驾驶、远程交互、远程医疗等等。目前的方法都是需要对压缩的图像或者视频二进制码流数据进行传输、储存和解码，恢复成图像视频信号再进行机器智能分析，随着大量图像视频数据的采集和处理，这会需要大量的传输带宽、存储空间和解码运算。随着5G和边缘计算的发展，更多的智能分析可以在边缘服务器进行处理，因此如果能够设计具有结构化码流的图像视频编码方法，实现无需对码流进行解码重建图像，仅仅通过对码流进行部分解析就能实现诸多智能分析任务，将极大地降低所需的传输带宽、存储空间和解码运算，推进未来5G边缘计算与智能多媒体计算的结合和广泛应用。

发明内容

本发明技术解决问题：克服现有技术的不足，提供一种任务驱动的码流结构化图像编码方法，对图像进行编码，编码过程中在特征层面检测对象，并基于检测结果进行结构化码流的生成，以实现根据不同的智能分析任务针对性选择部分结构化码流或者全部码流进行解析的目的，使得图像编码传输应用这一过程更为高效和灵活。

本发明技术解决方案：

一种任务驱动的码流结构化图像编码方法，包括：码流结构化编码器和解码器，码流结构化编码器实现输入图像的结构化表示和压缩，解码器根据压缩得到的特征对输入图像进行重构；所述码流结构化编码器包括：特征提取、目标检测、量化、预测编码过程和基于对象的码流划分过程；

特征提取过程，对输入图像进行多尺度特征提取和融合，其输出的特征同时作为量化和目标检测的输入；

目标检测过程，包含一个区域决策模块和对齐模块，对所述特征进行基于对象的检测，输出检测结果辅助结构化编码的实现，实现过程为：输入的所述特征通过区域决策模块得到所有对象可能存在区域的边界框(bounding boxes)，所有可能结果经过对齐模块处理后，进行分类任务，并对每个边界框(bounding boxes)计算损失函数，随后通过阈值处理，判决得到得分最高的结果作为最终输出结果，输出结果包括边界框和类别标签；

量化过程，对输入的所述特征做数字化的处理；

预测编码过程，预测编码模块根据压缩结果即特征提取的输出，预测后续的特征值，根据重建图像内容自适应地调整局部区域码率，生成重要性映射图，从而更好地控制率失真的平衡，得到更好的压缩性能；

基于对象的码流划分过程：将量化后的特征在空间维度上进行基于对象的划分，划分依据为目标检测的输出结果，即边界框和类别标签，划分过程为：在量化后的特征上，根据边界框切割出对象对应的区域，类别标签指明对象的类别信息；经过划分的不同部分特征将依次通过熵编码处理形成结构化的码流，同时，边界框和类别标签将会被编码到头信息中。

所述特征提取过程以及解码器中增加了附加卷积层，当有不同比特率压缩需求时，不再需要训练整个网络，只需要训练附加层的参数即可。

所述预测编码过程具体实现如下：