[发明专利]一种用于AI视频分析的模糊图像超分辨率重建方法及装置

权利要求书

1.一种用于AI视频分析的模糊图像超分辨率重建方法，其特征在于：所述方法包括如下步骤：

步骤1，建立多尺度特征提取融合网络，由多尺度特征提取单元和特征融合层组成，通过多尺度特征提取融合网络在原始低分辨率图像上进行特征提取，即输入是原始的LR图像，并且在其中每个卷积层的后面设置激活层，使用自门控Swish激活函数；在深度学习中，多使用ReLU作为激活函数；

步骤2，在多尺度特征提取融合网络的基础上，构建多路径递归残差网络模型来学习LR图像和HR图像之间的高频残差特征；多路径递归残差网络模型中，使用多路径模式下的局部残差学习和递归学习相结合的策略来提取图像的深层特征；每一层的输入都叠加了前面所有层的输出，将所有相同映射大小的特征图连接起来，从不同路径提取的特征不仅会在网络的尾部融合，而且在网络的前向传输过程中融合，将不同尺度的浅层和深层局部图像特征向网络深处传递，学习图像特征；

步骤3，使用反卷积重建和全局跳跃连接来重建最终的超分辨率图像。

2.根据权利要求1所述的一种用于AI视频分析的模糊图像超分辨率重建方法，其特征在于：步骤1中，多尺度特征提取融合递归残差网络中，多尺度特征提取单元分别使用尺寸大小为3*3、5*5和7*7的卷积核同时提取LR图像的特征信息，提取不同尺度的浅层局部图像特征，分别得到16、32、和64幅特征图；特征融合层基于DenseNet网络的思想，采用Concat的方式来融合不同尺度的信息，通过扩展其通道数来合并，不更改任何原始像素值。

3.根据权利要求1所述的一种用于AI视频分析的模糊图像超分辨率重建方法，其特征在于：步骤1中，所述自门控Swish激活函数为：

f(x)＝x·sigmoid(βx)

式中，β为可训练的参数；当Swish函数处于x0时，随着x不断减小，梯度无限接近于0，避免出现神经元坏死、不被激活的情况，抑制过拟合的出现。

4.根据权利要求1所述的一种用于AI视频分析的模糊图像超分辨率重建方法，其特征在于：步骤2中，多路径递归残差网络模型由递归残差特征提取块RRFEB和多级特征融合块MFFB两部分组成；

假设分别使用X和Y表示整个递归残差网络的输入和输出，即多尺度特征提取及融合单元的输出，X作为所有RRFEB、MFFB和随后的全局残差学习单元的输入；在多路径递归残差网络中，使用N个RRFEB级联来反复提取LR图像和HR图像之间的残差特征，所有RRFEB单元的输出表示为：

F₁＝f_RRFEB(X)

F₂＝f_RRFEB(X,F₁)

F₃＝f_RRFEB(X,F₂)

···

F_N＝f_RRFEB(X,F_N-1)

其中，f_RRFEB(·)为递归残差特征提取功能，X,F₁,F₂,...F_N是相应的输入；

引入多级特征融合块MFFB重用层次特征，并输出最终的残差特征，MFFB的输出表示为：

f_N+1＝f_MFFB(X,F₁,F₂,...,F_N)

其中，f_MFFNB(·)表示多级特征融合功能；

使用长跳过连接将特征提取单元提取的浅层特征X与各个递归残差块输出的特征进行融合，融合局部和全局特征，其中长跳过连接提供互补的上下文信息。