[发明专利]序列图像红外小目标超分辨方法、装置、设备和存储介质

权利要求书

1.一种序列图像红外小目标超分辨方法，其特征在于，所述方法包括：

获取多帧序列图像；

构建序列图像红外小目标超分辨网络，所述序列图像红外小目标超分辨网络包括特征提取模块、注意力特征对齐模块、渐进融合模块以及图像重构模块；所述特征提取模块采用中心差分残差组对序列图像进行特征提取；所述注意力特征对齐模块对提取的序列图像特征采用时空局部注意力模块进行帧间对齐，所述渐进融合模块利用时域距离先验将对齐的特征由粗到精进行特征融合，所述图像重构模块对融合后的特征进行重构得到重构的高分辨率参考帧图像；

将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型；

获取待测多帧序列图像，将所述待测多帧序列图像输入到所述序列图像红外小目标超分辨模型中，得到重构的高分辨率参考帧图像；

所述特征提取模块包括卷积网络和中心差分残差组；

所述中心差分残差组包括：D个中心差分残差密集连接块和1个1×1卷积，其中D为大于1的整数；

所述中心差分残差密集连接块包括1个中心差分卷积模块、K个卷积模块和1个点卷积层；其中K为大于1的整数；所述卷积模块的卷积核为3×3，所述中心差分卷积模块的卷积核为3×3；

所述序列图像特征包括：参考帧特征和邻域帧特征；

所述时空局部注意力模块，用于生成参考帧和领域帧之间的局部响应，隐式进行帧间对齐，根据帧间局部特征的补充信息提升对局部特征的重建效果。

2.根据权利要求1所述的方法，其特征在于，所述注意力特征对齐模块包括两个时空局部注意力模块；

将多帧序列图像作为训练样本对所述序列图像红外小目标超分辨网络进行训练，得到序列图像红外小目标超分辨模型，包括：

将所述多帧序列图像作为训练样本；

将所述训练样本输入到所述特征提取模块的卷积网络中，得到序列图像卷积特征；

将所述序列图像卷积特征输入到中心差分残差组中，得到序列图像特征；

将所述序列图像特征输入到第一个时空局部注意力模块中，并将得到的第一时空局部注意力特征输入到第二个时空局部注意力模块中，得到序列图像的时空局部注意力特征；

将所述时空局部注意力特征输入到所述渐进融合模块中，得到融合特征；将所述融合特征输入到所述图像重构模块中，得到预测重构高分辨率参考帧图像；

根据所述预测重构高分辨率参考帧图像和所述训练样本，对所述序列图像红外小目标超分辨网络进行反向训练，得到序列图像红外小目标超分辨模型。

3.根据权利要求2所述的方法，其特征在于，

将所述序列图像卷积特征输入到中心差分残差组中，得到序列图像特征，包括：

将所述序列图像卷积特征输入到中心差分残差组中，经过D个所述中心差分残差密集连接块提取分层特征；

将D个所述中心差分残差密集连接块输出的分层特征级联后输入到所述1×1卷积中，得到序列图像特征。