[发明专利]一种可见光/红外图像多平台分布式融合多目标检测方法

说明书

本发明公开了一种可见光/红外图像多平台分布式融合多目标检测方法。首先构建基于FSSD的可见光航拍图像和红外航拍图像多目标检测网络，并进行训练和测试，通过统计方法得到目标检测的平均准确率AP值；然后使用可见光和红外航拍图像多目标检测网络，得到目标在图像中的位置、目标类别、目标归属类别的置信度；再根据平均准确率AP值建立ECOC编码矩阵，通过检测网络给出的置信度，并结合ECOC编码矩阵，给出ECOC预测编码；最后计算预测编码与ECOC编码矩阵各行的欧氏距离，并判断最小距离得到分布式融合多目标分类结果，完成分布式多目标分类置信度融合。该方法解决了分布式融合权值选取问题，实现了权值自适应计算；提升了多目标检测的检测率、精度以及鲁棒性。

技术领域

本发明属于图像处理领域，具体涉及一种多目标检测方法。

背景技术

通常飞行器运动存在高度、速度、姿态变化，并且航拍面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，因此利用单独的可见光或红外成像传感器对航拍图像进行多目标检测，存在检测率低、精度差、鲁棒性不好的问题。

可见光/红外航拍图像融合多目标检测方法具有全天时、全天候的自适应目标检测优势；深度学习通过使用多层非线性处理单元进行特征提取和转换，特征可抽象的进行多级表示，同时具有高泛化能力。将二者结合进行基于深度学习的可见光/红外航拍图像融合多目标检测方法，是目前的研究热点。

基于深度学习的可见光/红外航拍图像融合多目标检测方法通常可分为像素级融合方法、特征级融合方法以及决策级融合方法。决策级融合方法采用分布式融合图像目标检测架构，分别对可见光、红外航拍图像通过深度学习网络完成多目标检测，然后利用决策级信息融合算法，对检测结果中目标类别的置信度进行融合，实现图像目标的多源信息融合检测。决策级融合能够克服像素级与特征级融合方法通信带宽、存储空间要求高、融合中心计算量大的问题。

目前基于深度学习的可见光/红外航拍图像融合多目标检测方法常采用YOLO系列网络及FastRCNN系列网络。YOLO网络对每种检测目标都能给出属于该目标及其它目标的置信度，因此YOLO网络结合D-S证据理论可以完成决策级融合检测；FastRCNN系列网络对每种检测目标只能给出属于该目标的置信度，因此需要重新构造属于该目标及其它目标的置信度，并结合模糊集理论实现决策级融合图像多目标检测。但YOLO网络在目标检测精度方面不高，Fast RCNN网络对目标检测速度较慢。FSSD网络在目标检测精度方面优于YOLO系列网络，在目标检测速度方面优于Fast RCNN网络，因此基于FSSD网络的决策级融合图像多目标检测，为综合提高可见光/红外航拍图像融合多目标检测的精度及速度提供了依据。

由于飞行器运动存在高度、速度、姿态的变化，导致航拍图像发生尺度、角度及模糊的畸变，原始的FSSD目标检测网络仅针对可见光图像，且输入图像接口大小较小，在特征提取层级中提取的图像特征有限，因此精度还有待进一步提高；同时在对红外图像进行目标检测的过程中，会遇到红外图像特征较少、不同类目标相似性较高的问题，具有一定的局限性。

可见光/红外航拍图像多平台分布式融合多目标检测属于决策级融合方法，由于FSSD网络只能获得多目标某一类别置信度，而一般的决策级融合算法需要获取目标在每个类别上的置信度后，才能进行决策融合计算。并且航拍成像面临光照强度变化、光照视角变化、云雾遮挡、昼夜交替等影响，单独使用可见光或红外检测网络进行多目标检测，不能保证上述环境影响下目标检测的鲁棒性。ECOC是机器学习中的一种多分类算法框架，在每个分类器只能得到相应某一类别的置信度时，它通过对多个分类器的结果进行编编、解码，实现多类型目标的分类。因此，ECOC为基于FSSD网络的可见光/红外航拍图像多平台分布式融合多目标检测提供了一种全新的思路。

发明内容