[发明专利]一种基于隐式时序信息的移动端实时影像数据压缩方法、超分方法及系统

说明书

本发明提出了一种基于隐式时序信息的移动端实时影像数据压缩方法、超分方法及系统，属于图像数据处理的技术领域，其中方法具体包括步骤为：步骤1、构建轻量级超分辨率网络模型；步骤2、将待分析的影像数据预处理为符合模型接收的数据形式；步骤3、轻量级超分辨率网络模型对接收到的图像数据进行超分辨率重构；步骤4、输出超分辨重构的数据。本发明通过构建的轻量级超分辨率网络模型，满足高性能、低延迟以及低功耗的部署需求，另外，本发明在视频数据处理的过程提出融合隐式时序特征，从而提高视频超分辨率重构性能。

技术领域

本发明属于图像数据处理的技术领域，特别是涉及一种基于隐式时序信息的移动端实时影像数据压缩方法、超分方法及系统。

背景技术

在图像处理技术的发展进程中，自从提出了基于深度神经网络的超分辨率方法以来，超分辨率任务得到了迅速发展。近年来，如何在手机上部署高性能的超分辨率方法已成为工业界和学术界的迫切需求。

但是，现有技术中的方法都需要强大的计算能力作为支撑，因此，这些方法的训练和推理需要在强大的服务器上进行处理。甚至一些所谓的实时超分辨率方法也只是指服务器上的实时推理，普适性不高。

发明内容

发明目的：提出一种基于隐式时序信息的移动端实时影像数据压缩方法、超分方法及系统，以解决现有技术存在的上述问题。通过构建的轻量级超分辨率网络模型，满足高性能、低延迟以及低功耗的部署需求。

技术方案：第一方面，提出了一种基于隐式时序信息的移动端实时影像数据超分方法，该方法具体包括以下步骤：

步骤1、构建轻量级超分辨率网络模型，该模型的主干网络是一个平直网络结构，包含时序模块、特征提取模块和上采样模块；

步骤2、将待分析的影像数据预处理为符合模型接收的数据形式；

步骤3、轻量级超分辨率网络模型对接收到的图像数据进行超分辨率重构；重构的过程为：

步骤3.1、按照视频帧的划分方式，获取不同时刻的RGB图像数据；

步骤3.2、利用时序模块获取上一帧图像数据的隐式特征图；

步骤3.3、按通道合并上一帧特征图、上一帧图像数据的隐式特征图和当前帧的特征图；

步骤3.4、将合并后的特征图传输至特征提取模块进行图像特征提取；

步骤3.5、利用上采样模块对提取到的特征图进行处理时，按序经过两个3×3Conv卷积层，输出通道数为4倍的特征图；随后，经过子像素卷积层，并按规则进行融合；

步骤4、输出超分辨重构的数据。

在第一方面的一些可实现方式中，利用轻量级超分辨率网络模型进行图像数据超分处理过程中，依次经过时序信息利用阶段、卷积阶段和上采样阶段。

在不同阶段涉及到的模块包括：至少两个3×3Conv卷积层构成的特征提取模块、两个3×3Conv卷积层和一个子像素卷积层构成的上采样模块，以及一个3×3Conv卷积层构成的时序模块。

其中，时序模块置于特征提取模块与上采样模块之间，输出的数据用于作为下一帧使用的隐式特征图。

在第一方面的一些可实现方式中，针对输出超分辨重构的数据，还包括评价打分的步骤，通过得分结果验证轻量级超分辨率网络模型的性能；

其中，获得模型性能评价打分的表达式为：

Score＝α*PSNR+(1-J)*β

式中，α和β为预设的常数值；PSNR表示轻量级超分辨率网络模型输出图像与参考图像的峰值信噪比；J表示轻量级超分辨率网络模型在指定的边缘端设备上单幅图前向推理的能量消耗。