[发明专利]一种基于特征融合的自适应权重深度学习目标分类方法

权利要求书

1.一种基于特征融合的自适应权重深度学习目标分类方法，其特征是包括如下步骤：

(1)、目标粗检测；

(2)、提取图像卷积特征和HOG特征，对HOG特征扩维处理；

提取图像特征在ResNet网络框架下完成，提取基本的卷积特征，获得N维的卷积特征图，在ResNet网络框架下增加OpenCV提取图像HOG特征的代码，改造ResNet网络框架，一张图像对应一个HOG特征图，将HOG特征图复制N份，扩展为N维HOG特征图；

(3)、将SENet嵌入到Resnet网络框架，建立用于提取图像多特征权重的网络框架；

将SENet模块嵌入到改造的Resnet网络框架中，在改造后的Resnet网络框架每一次计算获取图像卷积特征和HOG特征之后，通过SENet模块计算相应特征的权重向量，

(4)、计算卷积特征和HOG特征的自适应权重向量，制定特征融合策略，计算图像融合特征；

根据HOG特征、卷积特征及其权重向量相乘叠加实现融合工作，利用OpenCV获取N维HOG特征后，利用SENet模块计算获得每个HOG特征F_h的自适应权值P_h，由Resnet第一层卷积层的卷积计算、激化、池化提取原始图片的N维卷积特征F_c1，利用SENet模块计算获得卷积特征自适应权值P_c1，由下式计算新的卷积特征F_cn1:

F_cn1＝F_c1·P_c1+F_h·P_h

由Resnet卷积层后的Layer1层、Layer2层、Layer3层、Layer4层在前一层的计算的新的融合特征的基础上提取卷积特征和相应的权值向量，两者相乘得到融合特征F_cn，即满足下式所示：

F_cn＝F_cx·P_cx

上式中，F_cx表示Resnet网络Layer第x层的提取的卷积特征，P_cx表示利用SENet网络计算出的Layer第x层卷积特征的自适应权值；

所述的通过SENet模块计算相应特征的权重向量具体包括：SENet模块连接在网络特征提取模块之后，网络特征提取模块分别为ResNet提取的卷积特征和OpenCV提取HOG特征，再分别通过全局平均池化、两个全连接层和sigmoid激活函数，再经过比例系数和权值叠加，分别得到卷积特征图和HOG特征图的权重向量，Resnet网络中含有1个卷积层和4Layer层，每一层都嵌入SENet网络，即对各层的特征图均计算其相应的权重向量；

(5)、建立基于精准二分类网络集的多目标分类框架。

2.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(1)具体包括：将含有Roi-Align层和FPN结构的Faster-Rcnn目标检测网络，根据softmax前的概率值，通过降低检测阈值，获取检测框，然后通过极大值抑制原理，筛选出符合条件的检测框，然后建立先验知识库，确定目标范围。

3.根据权利要求1所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是步骤(5)具体包括：首先通过Faster Rcnn网络对目标进行大类检测，再针对结果选择二分类网络集内对应的二分类网络，开展精准分类，最后得到目标分类结果。

4.根据权利要求2所述的基于特征融合的自适应权重深度学习目标分类方法，其特征是：检测阈值设置为0.5；所述筛选出符合条件的检测框具体包括：依靠非极大值抑制以及调节输出概率值，将检测框的概率得分按照降序排列，并将概率值最高的检测框作为极大值，按照概率降序，依次计算其他检测框与极大值检测框的重叠率，若重叠率小于阈值，则认为在该范围内，出现了两个同类物体，不处理；若重叠率大于阈值，则认为该检测框和极大值检测框为同一物体，消除非极大值检测框。