[发明专利]一种基于跨模态特征融合的空间可变模糊估计方法

权利要求书

1.一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：该方法包括：

低分辨率的模糊图像输入层级式的跨模态特征交互网络模型；

在层级式特征交互模型中，通过一个全卷积骨干网络提取输入图像的多尺度特征；

除第一个尺度外，其余尺度的特征均通过GIA模块与上一个尺度的特征进行融合；

对于每个尺度的特征均使用相应的任务头模块分别预测模糊和语义特征；

除最后一个尺度外，每个尺度的模糊和语义特征均通过GIA模块进行交互和融合；

最后一个尺度的模糊和语义特征，分别直接通过一层卷积获得模糊量图和语义分割概率图，用于进行整体网络的辅助监督；

各尺度由相应任务头模块提取的模糊和语义特征还通过额外的GIA模块进行交互并各自聚合；聚合后的两种模态的特征各自通过一个卷积层和一个上采样层，分别得到最终的模糊估计和语义分割结果。

2.根据权利要求1所述的一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：该方法包括：

首先，低分辨率的模糊图像I^LR通过一个全卷积骨干网络提取多尺度特征{F⁰,F¹,...,Fⁿ}；

针对第一个尺度的特征F⁰，使用两个特定的任务头模块(head⁰_b和head_s⁰)，预测得到第一个尺度上初始的模糊特征和语义特征然后，通过GIA模块对和进行交互和融合，得到调整后的相应于第一个尺度的模糊特征和语义特征将调整后的第一个尺度的模糊特征和语义特征与相邻的第二个尺度的特征F¹通过GIA模块(和)进行融合，得到输出结果和将得到的输出结果和作为第二个尺度的特定任务头模块(和)的输入，预测得到第二个尺度上初始的模糊特征和语义特征

重复上述过程，直至完成第n个尺度的特征交互和融合；

最后一个尺度的模糊和语义特征和分别直接通过一层卷积获得模糊量图和语义分割概率图，用于进行整体网络的辅助监督；

每个尺度还应用一个额外的GIA模块来获得模糊和语义最终的多尺度特征和模糊和语义各自最终的i个多尺度特征和分别进行聚合，并分别通过一个卷积层和一个上采样层得到整体网络的输出，即模糊估计结果B和语义分割结果S。

3.根据权利要求1所述的一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：所述全卷积骨干网络采用任意的多尺度特征提取器，所述特定的任务头模块headⁱ_b和headⁱ_s均由两个基本的残差块组成。

4.根据权利要求1所述的一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：针对提取出的多尺度特征，与其余尺度不同，在最后一个尺度中，所述任务头模块和的输出直接分别通过一层卷积，预测得到中间的模糊量图和语义分割概率图，用于进行辅助监督，并采用L1损失函数和Cross-Entropy损失函数进行约束。

5.根据权利要求1所述的一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：针对最后的估计结果，即模糊量图B和语义分割概率图S，分别采用L1损失函数和Cross-Entropy损失函数进行约束。之和为整体网络的损失函数。

6.根据权利要求1所述的一种基于跨模态特征融合的空间可变模糊估计方法，其特征在于：所述GIA模块，以两个不同的特征作为输入，输出两个相应的调整后的特征，并包含一个可以支持不同分辨率的输入特征的上采样层；

当两个输入特征的分辨率不同时，该上采样层将对其中较低分辨率的输入进行上采样；

当两个输入特征的分辨率相同时，该上采样层不进行任何操作。