[发明专利]一种可见光/红外图像多平台分布式融合多目标检测方法

权利要求书

1.一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，包括以下步骤：

步骤1：构建基于FSSD的可见光航拍图像多目标检测网络和基于FSSD的红外航拍图像多目标检测网络；

步骤1-1：构建基于FSSD的可见光航拍图像多目标检测网络，对FSSD网络结构做出如下修改：

步骤1-1-1：将输入图像的大小从300*300修改为640*640；

步骤1-1-2：在FSSD网络的VGG16结构后，增加大小为20*20*512的Conv6_2融合层级，并将Conv6_2融合层级提出的特征图送入到特征融合模块；

步骤1-1-3：在特征融合模块中，将特征融合层尺寸大小从38*38改为80*80；

步骤1-1-4：将检测层级中的fea_concat_bn_ds_16和fea_concat_bn_ds_32两个层级中的padding改为1，步长改为2；

步骤1-1-5：在检测层级的最后新增大小为1*1*256的fea_concat_bn_ds_64层级；

步骤1-1-6：将检测层级的先验框个数改为42675，利用kmeans算法对图像数据集中目标先验框的长宽比先验信息进行聚类，获得可见光图像中默认的目标框长宽比为5种，即0.4，0.6，1，1.6，2.8；

步骤1-2：构建基于FSSD的红外航拍图像多目标检测网络，对FSSD网络结构做出如下修改：

步骤1-2-1：将FSSD网络的VGG16结构中的conv3_3层级提取的特征图送入到特征融合模块；

步骤1-2-2：将检测层级的先验框个数改为9700，利用kmeans算法对图像数据集中目标的先验框长宽比先验信息进行聚类，获得红外图像中默认的目标框长宽比为5种，即0.5，0.8，1，1.3，2.1；

步骤1-3：使用图像数据集中的训练图像集和测试图像集对可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别进行训练和测试，通过统计方法得到各类别目标检测的平均准确率；

步骤1-4：使用训练完成的可见光航拍图像多目标检测网络和红外航拍图像多目标检测网络分别对包含目标的可见光图像和红外图像进行检测，能够得到目标外接矩形的位置、目标类别、目标归属类别的置信度；

步骤2：构建分布式融合多目标检测方法；

步骤2-1：构建多源图像多目标位置关联方法；

步骤2-1-1：假设有m个飞行平台，将k个基于FSSD的可见光航拍图像多目标检测网络f₁，f₂，...，f_k分别搭载在飞行平台1，2，...，k上，将m-k个基于FSSD的红外航拍图像多目标检测网络f_k+1，f_k+2，...，f_m分别搭载在飞行平台k+1，k+2，...，m上；使用m个飞行平台进行目标图像采集，每个飞行平台采集一幅图像，分别定义为H₁，H₂，...，H_m；再对图像H₁，H₂，...，M_m进行配准；

使用每个飞行平台上加载的检测网络对本飞行平台采集到的图像进行目标检测，假设在每幅图像中检测到的目标数分别为l₁，l₂，...，l_m；

步骤2-1-2：对于图像H₁中检测到的第e个目标计算目标的外接矩形的中心点与图像H₂，H₃，...，H_m中所有检测到目标的外接矩形中心点之间的距离g，将图像H₂，H₃，...，M_m中满足距离g≤∈₁的任一目标分别记为的外接矩形分别记为∈₁为预设阈值；

计算目标之间的交并比IoU：

若IoU＞0.5，则判定为同一目标，完成目标位置关联，目标位置为图像H₁，H₂，...，M_m中该目标的最大外接矩形；

若IoU≤0.5，则舍弃目标

步骤2-1-3：将e从1取到l₁，重复步骤2-1-2，得到m幅图像中所有位置关联的目标：

步骤2-2：构建基于ECOC的分布式融合多目标检测方法；

步骤2-2-1：构建分布式融合多目标分类方法；

步骤2-2-1-1：建立可见光/红外分布式融合多目标分类ECOC编码矩阵；

步骤2-2-1-1-1：假设目标有n+1类，分别为C₁，C₂，...，C_n+1，其中C₁，C₂，...，C_n为n个目标类，C_n+1为背景类；对于检测网络f₁，f₂，...，f_k，f_k+1，f_k+2，...，f_m，采用步骤1-3的方法对测试集进行测试得到每个检测网络对每个类别的目标检测的平均准确率AP_ij，i＝1，2，...，n+1；j＝1，2，...，m，将平均准确率AP_ij作为码字权值，构造ECOC编码矩阵，如表1所示：

表1可见光/红外分布式融合多目标分类ECOC编码矩阵

表1中每个码字权值的正负性由以下步骤决定；

步骤2-2-1-1-2：对可见光图像的检测网络f₁,f₂,...,f_k，对n个目标类C₁,C₂,...,C_n进行目标检测测试，AP_ij,i＝1,2,3,...,n；j＝1,2,3,...,k的最大值为：

AP_{visible_max}＝max{AP_ij|i＝1,2,3,...,n；j＝1,2,3,...,k}                  (2)

将AP_{visible_max}编码设为正值，AP_{visible_max}所在列检测网络对应的其它目标类码字权值编码为负值；目标类C₁,C₂,...,C_n每一行中非AP_{visible_max}所在列的码字权值编码与AP_{visible_max}所在列的正负编码方式取反；

步骤2-2-1-1-3：对红外图像的检测网络f_k+1,f_k+2,...,f_m，对n个目标类C₁,C₂,...,C_n进行目标检测测试，AP_ij,i＝1,2,3,...,n；j＝k+1,k+2,...,m的最大值为：

AP_{infrared_max}＝max{AP_ij|i＝1,2,3,...,n；j＝k+1,k+2,k+3,...,m}           (3)

将AP_{infrared_max}编码设为正值，AP_{infrared_max}所在列检测网络对应的其它目标类码字权值编码为负值；目标类C₁,C₂,...,C_n每一行中非AP_{infrared_max}所在列的码字权值编码与AP_{infrared_max}所在列的正负编码方式取反；

步骤2-2-1-1-4：背景类C_n+1的AP值的计算方式如下：

AP_(n+1)j＝max{AP_ij|i＝1,2,...,n}+[1-max{AP_ij|i＝1,2,...,n}]²×min{AP_ij|i＝1,2,...,n}j＝1,2,...,m

AP_(n+1)j的最大值为：

AP_{background_max}＝max{AP_(n+1)j|j＝1,2,...,m}

将AP_{background_max}编码设为正值，其它背景类码字权值编码为负值；

步骤2-2-1-2：建立ECOC预测编码；

假设每个检测网络检测出的第e个目标属于目标类C₁,C₂,...,C_n之一的置信度分别为

定义ECOC预测编码：

中码字的正负，与ECOC编码矩阵中同一检测网络相同目标类的AP_ij的正负相同；当目标被检测为背景类时，检测网络的置信度设为δ，正负性和ECOC编码矩阵中同一检测网络背景类的AP_(n+1)j的正负相同；

对步骤2-1中判定的每个位置关联的同一目标按照步骤2-2-1-2建立ECOC预测编码；

步骤2-2-1-3：多目标分类；

计算步骤2-2-1-2得到的第e个目标的ECOC预测编码与ECOC编码矩阵中各行的欧氏距离：

n+1个值最小的值对应的目标类即为第e个目标最终目标融合分类结果C_result：

同理得到所有目标最终目标融合分类结果；

步骤2-2-2：构建分布式多目标分类置信度融合方法；

当置信度为第e个目标属于不同目标类的置信度时，定义第e个目标目标置信度融合结果：

当置信度为第e个目标属于同一目标类的置信度时，定义第e个目标目标置信度融合结果：

式中，f(C_result)_max表示分类结果为C_result目标类且置信度最大的检测网络，β为该检测网络对应的C_result类的AP值，表示该检测网络对应C_result类的置信度；f_j表示第j个检测网络，ω_j为该检测网络分类结果对应AP值经softmax归一化的权重：

式中，α_j为非置信度最大的检测网络预测目标类别所对应的AP值；

同理得到所有目标最终目标分类置信度融合结果；

步骤3：对包含目标的可见光图像和红外图像采用步骤1和步骤2的方法进行处理，最终得到目标融合分类和置信度融合结果。

2.根据权利要求1所述的一种可见光/红外图像多平台分布式融合多目标检测方法，其特征在于，所述置信度δ的值为0.8。