[发明专利]生成融合特征集合的方法及装置

权利要求书

1.一种生成融合特征集合的方法，其特征在于，包括：

确定第一模态图像对应的第一尺度的第一特征集合和第二模态图像对应的第一尺度的第二特征集合；

将所述第一特征集合和所述第二特征集合输入特征处理模型，以得到第一尺度的第一融合特征集合，其中所述特征处理模型包括特征变换模块和特征融合模块，

其中，所述第一特征集合包括多个不同维度的第一特征，所述第二特征集合包括多个不同维度的第二特征，并且，所述多个不同维度的第一特征和所述多个不同维度的第二特征呈一一维度对应关系，

所述将所述第一特征集合和所述第二特征集合输入特征处理模型，以得到第一尺度的第一融合特征集合，包括：

将所述第一特征集合和所述第二特征集合输入特征处理模型，利用所述特征变换模块，分别确定所述多个不同维度的第二特征与各自对应的第一特征之间的偏移量，以生成所述第二特征集合对应的偏移量集合；利用所述特征变换模块，基于所述偏移量集合，对所述第二特征集合中包括的所述多个不同维度的第二特征分别进行特征维度的重采样操作，以确定第三特征集合，其中，所述第三特征集合与所述第一特征集合之间存在空间匹配关系；利用所述特征融合模块，基于所述第一特征集合和所述第三特征集合融合生成第一尺度的第一融合特征集合。

2.根据权利要求1所述的生成融合特征集合的方法，其特征在于，所述利用所述特征变换模块，分别确定所述多个不同维度的第二特征与各自对应的第一特征之间的偏移量，以生成所述第二特征集合对应的偏移量集合，包括：

针对所述多个不同维度的第二特征中的每个第二特征，将所述第二特征与所述第二特征对应的第一特征进行特征拼接操作，以生成第一拼接特征；

对所述第一拼接特征进行卷积操作，以确定所述第二特征对应的第一方向偏移量和第二方向偏移量；

基于所述多个不同维度的第二特征各自对应的第一方向偏移量和第二方向偏移量，生成所述偏移量集合。

3.根据权利要求1或2所述的生成融合特征集合的方法，其特征在于，所述第三特征集合包括多个不同维度的第三特征，并且，所述多个不同维度的第三特征和所述多个不同维度的第一特征呈一一维度对应关系，所述基于所述第一特征集合和所述第三特征集合融合生成第一尺度的第一融合特征集合，包括：

针对所述多个不同维度的第三特征中的每个第三特征，将所述第三特征与所述第三特征对应的第一特征进行特征拼接操作，以生成第二拼接特征；

对所述第二拼接特征进行卷积操作，以确定所述第三特征对应的第一尺度的第一融合特征；

基于所述多个不同维度的第三特征各自对应的第一尺度的第一融合特征，生成所述第一融合特征集合。

4.根据权利要求1或2所述的生成融合特征集合的方法，其特征在于，还包括：

确定所述第一模态图像对应的第二尺度的第四特征集合和所述第二模态图像对应的第二尺度的第五特征集合；

将所述第四特征集合和所述第五特征集合输入所述特征处理模型，以得到第二尺度的第二融合特征集合；

并且，利用所述特征处理模型，得到所述第一融合特征集合和所述第二融合特征集合对应的第三融合特征集合。

5.根据权利要求4所述的生成融合特征集合的方法，其特征在于，所述利用所述特征处理模型，得到所述第一融合特征集合和所述第二融合特征集合对应的第三融合特征集合，包括：

利用所述特征处理模型，确定所述第一融合特征集合对应的第二尺度的第七特征集合；

利用所述特征处理模型，将所述第七特征集合和所述第二融合特征集合进行融合操作，以得到所述第三融合特征集合。