[发明专利]红外图像及深度图像双模态目标分割方法及装置

摘要

本发明公开了一种红外图像及深度图像双模态目标分割方法及装置，方法包括：将红外图像及深度图像分别送入卷积神经网络，红外图像经过第i个卷积层后生成红外特征图序列Ri，深度图像经过第i个卷积层后生成深度特征图序列Di；将Di经过若干次卷积与线性修正后，与Ri相加得到Ti，将Ti经过池化操作或线性插值后得到分辨率相同的融合特征图序列Fi；将Di经过池化和卷积后进行softmax处理得到深度引导向量VF。相比于现有技术，本发明技术方案将深度图像进行HHA编码，更利于卷积神经网络特征的学习；将红外特征图序列和深度特征图序列进行逐级融合，并提出了采用分层累加多尺度特征融合方式，促进了目标特征提取，从而提升了目标分割的效能。