[发明专利]一种双模决策级图像融合的目标检测方法及设备

说明书

本发明公开了一种双模决策级图像融合的目标检测方法，包括以下步骤：采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；从可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对红外数据集进行微调，得到红外目标检测模型；对可见光目标检测模型和红外目标检测模型进行模型压缩；对检测照片进行决策级融合，显示置信度最高的检测回归框。本发明实施例提供的双模决策级图像融合的目标检测方法及设备，针对特征提取与分类网络结构进行优化，分别对可见光条件和红外条件下的汽车目标进行离线训练，在嵌入式平台上部署训练好的模型，实现在线目标检测，提高了目标检测的准确性和时效性。

技术领域

本发明涉及图像检测技术领域，具体涉及一种双模决策级图像融合的目标检测方法及设备。

背景技术

在传统的目标检测中，单一传感器无法获得的目标检测效果。可见光条件下，获得目标的颜色、纹理等细节信息，但无法获得热辐射特性；红外条件下，获得目标的热辐射特性，通常与周围环境温度对比明显，但无法获得细节信息。

利用多源传感器进行数据、信息融合，从而实现提升目标检测性能，而其中最典型的是红外与可见光的融合检测。目前，红外与可见光融合检测大多采用的仍是传统方法，相关检测模型通常应用于PC端。因为嵌入式平台计算单元较少、处理速度较慢，其GPU性能远比不上PC端的GPU性能，前者的性能相比于后者至少下降1/10。

为了解决这些问题，本文针对特征提取与分类网络结构进行优化，提出一种双模决策级图像融合的目标检测方法及设备。

发明内容

有鉴于此，本发明实施例的目的在于提出一种双模决策级图像融合的目标检测方法及设备，针对特征提取与分类网络结构进行优化，实现了基于嵌入式平台的在线目标检测。

基于上述目的，本发明实施例的第一方面提供了一种双模决策级图像融合的目标检测方法，包括：

采集可见光数据，对可见光预训练模型进行训练，得到可见光目标检测模型；

从可见光目标检测模型抽取得到红外预训练模型，采集红外数据，对红外数据集进行微调，得到红外目标检测模型；

对可见光目标检测模型和红外目标检测模型进行模型压缩；

对检测照片进行决策级融合，显示置信度最高的检测回归框。

在一些实施方式中，模型压缩包括剪枝和量化。

在一些实施方式中，剪枝包括：权重阈值限定，从网络中删除权重低于阈值的连接；评估稀疏度和准确度，将密集网络转换为稀疏网络；微调参数，重新训练网络，获取剩余稀疏连接的最终权重。

在一些实施方式中，剪枝基于训练前后层级单元之间关系的重要程度。

在一些实施方式中，量化在训练量化器时采用浮点型处理数据。量化在推断时采用半长的浮点型或8位整型处理数据。

在一些实施方式中，对检测照片进行决策级融合包括：图像配准；利用可见光与红外图像中相同目标的置信度计算得到融合图像的加权系数；进行目标置信度的归一化。

在一些实施方式中，采集可见光数据包括：利用高分辨率成像传感器，获取目标的细节特征。

在一些实施方式中，采集红外数据包括：利用红外传感器，获取目标的热辐射特征。

本发明实施例的第二方面提供了一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现任一上述方法的步骤。