[发明专利]一种基于自注意力的高阶融合网络的图像超分辨率重建方法

权利要求书

1.一种基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，包括如下步骤：

1)建立重建模型：所述重建模型包括串联的卷积神经网络和自注意力模块，其中卷积神经网络设有残差单元和反卷积层、自注意力模块包括并联的注意力支路和主干支路，注意力支路与主干支路的输出相融合为特征的高阶融合；

2)CNN网络特征提取：直接以原始低分辨率图像作为步骤1)建立的CNN网络的输入，CNN网络的输出为粗精度的高分辨率特征；

3)自注意力模块中的自注意力支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的自注意力支路，自注意力支路的输出为自注意力特征H(x)；

4)自注意力模块中的主干支路特征提取：将步骤2)得到的粗精度的高分辨率特征输入到自注意力模块中的主干支路，通过主干支路的输出为高层特征T(x)；

5)特征的高阶融合：将步骤3)和步骤4)所提取的自注意力特征H(x)与高层特征T(x)进行高阶融合,得到高阶融合特征F(x)；

6)图像重建：将步骤5)所提取的高阶融合特征F(x)进行卷积操作，输出最终的细精度高分辨率图像；

步骤3)中所述的自注意力支路特征提取的过程为：

自注意力分支首先将粗精度的高分辨率特征图像送入伴随着激活函数ReLU的1×1卷积层，分别生成三个新的特征图A(x)、B(x)和C(x)，然后将通过一个转置矩阵的A(x)与B(x)进行矩阵乘法操作，并且采用一个softmax层依据公式(1)计算注意力特征：

其中，S_j,i表示第i个位置对第j个位置的影响，两个位置的像素点越相似，其响应值越大，它们之间的关联性就越大，再将特征C(x)与转置后的注意力S(x)执行一个矩阵乘法操作，得到最终自注意力分支的输出如公式(4)所示：

从等式(4)中可以知道，自注意力特征H(x)表示着所有位置的像素点；

步骤5)中所述的高阶融合依据公式(2)由高阶统计表示来实现：

其中是由来自主干支路的特征T(x)和自注意力支路的H(x)级联而成的,W是线性预测器，为高阶统计量的描述，可以依据公式(3)通过一个齐次多项式内核表示为一个多项式预测器：

其中，R表示阶数，W^r是包含着r阶预测器权重的张量，表示x的第c_i个像素，对于每个r阶张量W^r可以用D^r秩-1张量逼近,那么张量W^r相当于可以将公式(3)重新进行表示，依据公式(5)：

其中为r阶的特征映射，是所有D^r秩-1张量的关联权重向量，由公式(5)可知，可以通过学习w，a^r，z^r来计算任意阶的表示，对于给定的输入特征X，计算第r阶表示的特征映射需要r次D^r×1×1的卷积，然后r阶的将所有特征执行矩阵乘法操作，得到最后，将所有阶的特征执行矩阵乘法操作，得到最终的高阶融合输出，依据公式(6)：

其中表示矩阵乘法操作。

2.根据权利要求1所述的基于自注意力的高阶融合网络的图像超分辨率重建方法，其特征在于，步骤1)中所述的CNN网络设有十个残差单元和一个反卷积层，每个残差单元包括两个卷积核大小为3×3的卷积层，每个卷积层产生64个特征图，然后紧接着激活函数ReLU，采用反卷积层来实现上采样操作，反卷积层的核大小为5×5，通过设置不同的步长来实现不同尺度大小的上采样。