[发明专利]一种基于隐式时序信息的移动端实时影像数据压缩方法、超分方法及系统

权利要求书

1.一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，包括以下步骤：

步骤1、构建轻量级超分辨率网络模型；

步骤2、将待分析的影像数据预处理为符合模型接收的数据形式；

步骤3、轻量级超分辨率网络模型对接收到的图像数据进行超分辨率重构；

步骤4、输出超分辨重构的数据。

2.根据权利要求1所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，所述轻量级超分辨率网络模型的主干网络是一个平直网络结构，包含：时序模块、特征提取模块和上采样模块；

在数据处理过程中依次经过时序信息利用阶段、卷积阶段和上采样阶段。

3.根据权利要求2所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，

在卷积阶段输出特征图的通道数与接收到的特征图相同，且图像分辨率不变；

在上采样阶段输出特征图的通道数是接收到特征图的4倍。

4.根据权利要求2所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，

所述特征提取模块包含：至少两个3×3Conv卷积层；

所述上采样模块包含：两个3×3Conv卷积层和一个子像素卷积层；

所述时序模块包含：一个3×3Conv卷积层，置于特征提取模块与上采样模块之间，输出的数据用于作为下一帧的隐式特征图。

5.根据权利要求2所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，当待分析的影像数据为视频数据时，轻量级超分辨率网络模型对接收到的图像数据进行超分辨率重构的过程具体包括以下步骤：

步骤3.1、按照视频帧的划分方式，获取不同时刻的RGB图像数据；

步骤3.2、利用时序模块获取上一帧图像数据的隐式特征图；

步骤3.3、按通道合并上一帧特征图、上一帧图像数据的隐式特征图和当前帧的特征图；

步骤3.4、将合并后的特征图传输至特征提取模块进行图像特征提取；

步骤3.5、利用上采样模块对提取到的特征图进行处理，获得4倍超分图像。

6.根据权利要求3所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，利用上采样模块对提取到的特征图进行处理时，按序经过两个3×3Conv卷积层，输出通道数为4倍的特征图；随后，经过子像素卷积层，并按规则进行融合。

7.根据权利要求1所述的一种基于隐式时序信息的移动端实时影像数据超分方法，其特征在于，针对输出超分辨重构的数据，还包括评价打分的步骤，通过得分结果验证轻量级超分辨率网络模型的性能；

其中，获得模型性能评价打分的表达式为：

Score＝α*PSNR+(1-J)*β

式中，α和β为预设的常数值；PSNR表示轻量级超分辨率网络模型输出图像与参考图像的峰值信噪比；J表示轻量级超分辨率网络模型在指定的边缘端设备上单幅图前向推理的能量消耗。

8.一种基于隐式时序信息的移动端实时影像数据压缩方法，用于对如去权利要求1所述的实时影像数据超分过程的逆过程进行建模，即对任意的超分影像数据进行压缩操作，其特征在于，包括以下步骤：

步骤一、接收任意经过超分后的图像数据；

步骤二、将图像数据利用如权利要求1所述的轻量级超分辨率网络模型进行逆变换；

步骤三、输出逆变换后的结果，获得压缩后的影像数据。

9.根据权利要求8所述的一种基于隐式时序信息的移动端实时影像数据压缩方法，其特征在于，当影像数据为视频数据时，还包括：

步骤四、按照输出结果的前后顺序进行拼接，获得连续的视频图像数据。

10.一种实时影像数据超分系统，用于实现如权利要求1-7任意一项所述的实时影像数据超分方法，其特征在于，具体包括以下模块：

模型构建模块，被设置为根据影像数据超分需求构建轻量级超分辨率网络模型；

数据转换模块，被设置为将待处理的影像数据转换成轻量级超分辨率网络模型可接受的数据形式；

数据分析模块，被设置为利用轻量级超分辨率网络模型对待处理的影像数据进行超分；

数据输出模块，被设置为输出数据分析模块生成的分析结果。