[发明专利]图像特征融合及模型训练方法、装置、设备以及存储介质

说明书

本公开提供了一种图像特征融合及模型训练方法、装置、设备以及存储介质，涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等领域。具体实现方案为：获取不同感受野的图像特征；利用不同感受野的图像特征中的底层图像特征，对不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，高层图像特征的感受野大于底层图像特征的感受野；利用不同感受野的图像特征中的高层图像特征，对不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；将增强高层特征和增强底层特征进行融合，得到融合后特征。本公开能够更好地进行图像特征融合，提高图像特征的准确性。

技术领域

本公开涉及图像处理技术领域，尤其涉及计算机视觉、深度学习等领域。

背景技术

在很多领域中，融合不同感受野的特征是提高性能的一个重要手段。例如，在图像处理领域，对不同感受野的图像进行融合是对图像进行处理以提升图像处理效果的重要手段。

发明内容

本公开提供了一种图像特征融合及模型训练方法、装置、设备以及存储介质。

根据本公开的第一方面，提供了一种图像特征融合方法，包括：

获取不同感受野的图像特征；

利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；

利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；

将所述增强高层特征和增强底层特征进行融合，得到融合后特征。

根据本公开的第二方面，提供了一种用于图像特征融合的模型训练方法，包括：

获取多个样本图像以及各个样本图像对应的标签；

针对各个样本图像，将所述样本图像输入用于图像特征融合的模型，得到融合后特征；

基于所述融合后特征进行图像处理，得到图像处理结果；

计算所述图像处理结果与所述样本图像对应的标签之间的差异；

基于所述差异调整所述用于图像特征融合的模型的模型参数；

基于调整后的模型参数以及所述多个样本图像，继续进行模型参数的调整过程，直至满足预设迭代结束条件；

将满足预设迭代结束条件时所得到的模型参数作为训练后的模型参数，将包括所述训练后的模型参数的用于图像特征融合的模型作为训练后的用于图像特征融合的模型；

其中，所述用于图像特征融合的模型包括通道注意力网络、空间注意力网络和融合网络；

所述通道注意力网络，用于利用所述不同感受野的图像特征中的底层图像特征，对所述不同感受野的图像特征中的高层图像特征进行通道信息增强，得到通道信息增强后的增强高层特征；其中，所述高层图像特征的感受野大于所述底层图像特征的感受野；

所述空间注意力网络，用于利用所述不同感受野的图像特征中的高层图像特征，对所述不同感受野的图像特征中的底层图像特征进行空间信息增强，得到空间信息增强后的增强底层特征；

所述融合网络，用于将所述增强高层特征和增强底层特征进行融合，得到融合后特征。

根据本公开的第三方面，提供了一种图像特征融合装置，包括：

获取模块，用于获取不同感受野的图像特征；