[发明专利]基于人工智能导盲的多模态融合障碍物检测方法及装置

权利要求书

1.一种基于人工智能导盲的多模态融合障碍物检测方法，其特征在于：包括

通过红外相机和彩色相机分别负责获取场景的红外图像、彩色图像；

获取的红外、彩色双模态图像分别传给卷积神经网络Q1和卷积神经网络Q2，所述卷积神经网络Q1和卷积神经网络Q2分别将图像转为第一多通道特征图和第二多通道特征图,以备后面展平为向量；

将所述第一多通道特征图和第二多通道特征图向量化表示，将第一多通道特征图和第二多通道特征图序列进行特征向量编码，生成多个预测向量；

对生成多个预测向量进行分类和位置预测；

所述将所述第一多通道特征图和第二多通道特征图向量化表示，将第一多通道特征图和第二多通道特征图序列进行特征向量编码，生成多个预测向量包括先将红外和彩色图像的所述第一多通道特征图和第二多通道特征图展平，都可得到512*49的特征图，再将特征图看做49个512维特征向量，这样切片能让像素之间充分相互注意，然后再将两模态向量拼接为98个长度为512维的特征向量。

2.根据权利要求1所述的一种基于人工智能导盲的多模态融合障碍物检测方法，其特征在于：

所述获取红外、彩色双模态图像分别传给卷积神经网络Q1和卷积神经网络Q2，所述卷积神经网络Q1和卷积神经网络Q2分别将图像转为第一多通道特征图和第二多通道特征图,以备后面展平为向量具体包括将不同规格的彩色图像或者对红外图像通过缩放、padding、变形为227*227大小的图像，分别输入到VGG-16骨干网络中，截掉全连接层，即经过卷积池化后获得512个7*7的特征图。

3.根据权利要求1所述的一种基于人工智能导盲的多模态融合障碍物检测方法，其特征在于：所述对生成多个预测向量进行分类和位置预测具体包括通过集合损失函数与标签对多个预测向量做损失计算。

4.根据权利要求3所述的一种基于人工智能导盲的多模态融合障碍物检测方法，其特征在于：所述通过集合损失函数与标签对多个预测向量做损失计算之前，先用二分图匹配法还包括找到一个预测向量与标签的最佳匹配，然后利用交叉熵计算类别损失，回归方式计算位置损失加起来就是全局损失。

5.一种基于人工智能导盲的多模态融合障碍物检测装置，其特征在于：包括

图像获取模块，由红外相机和彩色相机两部分组成，其用于分别负责获取场景的红外图像、彩色图像；

特征提取模块,其用于获取红外、彩色双模态图像分别传给卷积神经网络Q1和卷积神经网络Q2，所述卷积神经网络Q1和卷积神经网络Q2分别将图像转为第一多通道特征图和第二多通道特征图,以备后面展平为向量；

特征融合模块，其用于将所述第一多通道特征图和第二多通道特征图向量化表示，将第一多通道特征图和第二多通道特征图序列进行特征向量编码，生成多个预测向量；

分类模块,其用于对生成多个预测向量进行分类和位置预测；

所述特征融合模块中，先将红外和彩色图像的所述第一多通道特征图和第二多通道特征图展平，都可得到512*49的特征图，再将特征图看做49个512维特征向量，这样切片能让像素之间充分相互注意，然后再将两模态向量拼接为98个长度为512维的特征向量。

6.根据权利要求5所述的一种基于人工智能导盲的多模态融合障碍物检测装置，其特征在于：所述特征融合模块包括编码器和解码器。

7.根据权利要求6所述的一种基于人工智能导盲的多模态融合障碍物检测装置，其特征在于：所述编码器包括embeddedtokens、正则化层、多头自注意力层和前馈神经网络层；所述解码器包括正则化层、多头自注意力层和前馈神经网络层。