[发明专利]一种基于特征融合的目标检测方法

权利要求书

1.一种基于特征融合的目标检测方法，其特征在于包括以下步骤：

第一步：构建目标检测系统，目标检测系统由特征提取模块、间接特征融合模块、直接特征融合模块、第一变形模块、第二变形模块、检测模块组成；

特征提取模块为一个卷积神经网络，与第一变形模块相连；特征提取模块接收图像I，对图像I进行特征提取，得到多尺度特征图集合F(I)，将F(I)发送给第一变形模块；

第一变形模块是对F(I)进行插值和下采样操作的模块，与特征提取模块、间接特征融合模块相连；对F(I)中的特征图进行下采样或插值操作，统一特征图的尺寸，得到A₁(I)，将A₁(I)发送给间接特征融合模块；

间接特征融合模块与第一变形模块、直接特征融合模块相连，间接特征融合模块由第一通道变换模块、特征拼接模块、6个注意力模块组成；间接特征融合模块从第一变形模块接收A₁(I)，将A₁(I)中高层特征图的像素间的依赖关系和低层特征图像素间的依赖关系进行融合，运用融合的像素间的依赖关系，通过加权计算得到经过间接特征融合的特征图h₁,h₂,h₃,h₄,h₅,h₆，将h₁,h₂,h₃,h₄,h₅,h₆发送给直接特征融合模块；

第一通道变换模块包含6个1×1卷积神经网络，与第一变形模块、特征拼接模块、直接特征融合模块相连，从第一变形模块接收A₁(I)，分别对A₁(I)中的每个特征图进行1×1卷积神经操作，将A₁(I)中6个特征图的通道数统一为256，得到A₂(I)＝{a₂₁，a₂₂，a₂₃，a₂₄，a₂₅，a₂₆}，将A₂(I)输出给特征拼接模块、直接特征融合模块；A₂(I)中的特征图尺寸都为256×10×10；

特征拼接模块与第一通道变换模块、6个注意力模块相连，从第一通道变换模块接收A₂(I)，对A₂(I)中的6个特征图进行特征拼接操作，将A₂(I)中的6个特征图拼接成第一特征图I₁,将I₁发送给6个注意力模块，I₁的尺寸为1536×10×10；

第i个注意力模块与特征拼接模块、直接特征融合模块相连，对I₁提取像素间的依赖关系，根据依赖关系加权计算得到经过间接特征融合的特征图h_i，将h_i发送给直接特征融合模块；第i个注意力模块由查询模块、键模块、值模块、依赖关系模块、归一化模块、像素赋权模块、特征相加模块组成；1≤i≤6；

查询模块与特征拼接模块、依赖关系模块相连，从特征拼接模块接收I₁，对I₁进行1×1卷积操作，得到第二特征图I₂”,I₂”的尺寸为192×10×10；对I₂”进行维度合并操作，将第二维度和第三维度合并，得到第二合并后特征图I₂’，I₂’的尺寸为192×100；对I₂’进行转置操作，得到第二转置后特征图I₂，I₂的尺寸为100×192，将I₂发送给依赖关系模块；

键模块与特征拼接模块、依赖关系模块相连，从特征拼接模块接收I₁，对I₁进行1×1卷积操作，得到第三特征图I₃’，I₃’的尺寸为192×10×10；对I₃’进行维度合并操作，将第二维度和第三维度合并，得到第三合并后特征图I₃，I₃的尺寸为192×100，将I₃发送给依赖关系模块；

依赖关系模块与查询模块、键模块、归一化模块相连，从查询模块接收I₂、从键模块接收I₃，对I₂、I₃进行向量乘法操作，得到I₂、I₃不同像素间的依赖关系图I₄，I₄的尺寸为100×100，将I₄发送给归一化模块；

归一化模块与依赖关系模块和像素赋权模块相连，从依赖关系模块接收I₄，对I₄的每一行进行归一化操作，得到归一化后的像素间依赖关系图I₅，I₅的尺寸为100×100，将I₅发送给像素赋权模块；

值模块与特征拼接模块、像素赋权模块相连，从特征拼接模块接收I₁，对I₁进行1×1卷积操作，得到第六特征图I₆”，I₆”的尺寸为1536×10×10，对I₆”进行维度合并操作，将第二维度和第三维度合并，得到第六合并后特征图I₆’，I₆’的尺寸为1536×100；对I₆’进行转置操作，得到第六转置后特征图I₆，I₆的尺寸为100×1536，将I₆发送给像素赋权模块；

像素赋权模块与值模块、归一化模块、特征相加模块相连，从值模块接收I₆、从归一化模块接收I₅，对I₅、I₆执行矩阵乘法操作以对像素赋权，得到像素赋权后特征图I₇”,I₇”的尺寸为100×1536；对I₇”进行转置操作，得到I₇’，I₇’的尺寸为1536×100；对I₇’的第二维度进行维度拆分操作，得到维度拆分后的特征图I₇，I₇的尺寸为1536×10×10，将I₇发送给特征相加模块；

特征相加模块与特征拼接模块、像素赋权模块、直接特征融合模块相连，从特征拼接模块接收I₁、从像素赋权模块接收I₇，对I₁、I₇进行像素级别加法操作以利于梯度回传和优化，得到经过特征相加后的特征图h_i，h_i的尺寸为1536×10×10，将h_i发送给直接特征融合模块；

直接特征融合模块与间接特征融合模块、第二变形模块相连，从间接特征融合模块中的第一通道变换模块接收A₂(I)、从间接特征融合模块中的6个注意力模块接收h₁,h₂,h₃,h₄,h₅,h₆,对h₁,h₂,h₃,h₄,h₅,h₆变换通道数后，进行直接特征融合，得到经过直接特征融合后的特征图集合J(I)，将J(I)发送给第二变形模块；直接特征融合模块由第二通道变换模块、侧向连接模块组成；

第二通道变换模块包含6个1×1卷积神经网络，与间接特征融合模块、侧向连接模块相连，从间接特征融合模块的6个注意力模块中的特征相加模块接收h₁,h₂,h₃,h₄,h₅,h₆，分别对h₁,h₂,h₃,h₄,h₅,h₆进行1×1卷积神经操作，将h₁,h₂,h₃,h₄,h₅,h₆的通道数变换为256，得到特征图集合A₈(I)，将A₈(I)发送给侧向连接模块；

侧向连接模块是进行像素级别加法操作的模块，与第二通道变换模块、第二变形模块、间接特征融合模块的第一通道变换模块相连，从第二通道变换模块接收A₈(I)、从第一通道变换模块接收A₂(I)，对A₈(I)和A₂(I)进行侧向连接操作即直接特征融合，得到J(I)＝{j₁,j₂,j₃,j₄,j₅,j₆}，j₁,j₂,j₃,j₄,j₅,j₆尺寸均为256×10×10，将J(I)发送给第二变形模块；

第二变形模块与直接特征融合模块、检测模块相连；从直接特征融合模块接收J(I)，对J(I)中的特征图进行插值或下采样操作，得到D(I)，D(I)中包含d₁,d₂,d₃,d₄,d₅,d₆这6个特征图；将D(I)发送给检测模块；

检测模块与第二变形模块相连，由分类网络、定位网络和非极大值抑制模块组成；定位网络与第二变形模块、非极大值抑制模块相连，定位网络从第二变形模块接收D(I)，对D(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标的坐标值即预测框坐标值；分类网络与第二变形模块、非极大值抑制模块相连，分类网络从第二变形模块接收D(I)，对D(I)中的每一个特征图进行卷积操作，向非极大值抑制模块输出预测目标的类别即目标属于某类的概率值；非极大值抑制模块与分类网络和定位网络相连，采用非极大值抑制方法将重复预测的目标的坐标值和类别去除，获得目标最佳的预测框坐标值和预测类别；

第二步：准备目标检测系统的训练数据集，方法为：

选择PASCAL VOC 2007、PASCAL VOC 2012的训练集、验证集中的所有图片作为训练数据集，训练数据集图片中共包含E种目标类别，E为正整数；对于训练数据集中的第d张图片，1≤d≤16551，PASCAL VOC 2007、PASCAL VOC 2012中给出了第d张图片所包含的目标的类别以及位置向量g_d＝{g_d1,g_d2,...,g_dz,...,g_dZ}，dZ表示第d张图片中包含的目标数量，其中为包含四个值的一维向量，为第d张图片的第z个目标区域矩形框的左上角的坐标值，为第d张图片的第z个目标区域矩形框的右下角的坐标值，四个坐标值均为标量，中的四个值表示出第d张图片的第z个目标区域矩形的目标区域；

第三步，采用第二步构建的训练数据集训练目标检测系统中的各个模块，方法是：

3.1对特征提取模块的网络参数Φ₁、间接特征融合模块的网络参数Φ₂、直接特征融合模块的网络参数Φ₃、检测模块的网络参数Φ₄进行初始化；

3.2将训练数据集中的图片依次输入到目标检测系统中，对目标检测系统进行训练，拟合得到目标检测系统的网络参数；

第四步：利用目标检测系统进行目标检测，方法是：

4.1从相机或文件获得需要检测的图像I；

4.2将训练得到的目标检测系统的网络参数载入到目标检测系统中；

4.3特征提取模块对被检测图像I进行特征提取，得到多尺度特征图集合F(I)，将F(I)发送给第一变形模块；F(I)中包含6张图，尺寸分别为512×38×38，1024×19×19，512×10×10，256×5×5，256×3×3，256×1×1；尺寸为512×38×38，1024×19×19，512×10×10的为低层特征图；尺寸为256×5×5，256×3×3，256×1×1的为高层特征图；

4.4第一变形模块从特征提取模块接收F(I)，对F(I)中的特征图进行下采样或插值操作，统一特征图的尺寸，得到A₁(I)，将A₁(I)发送给间接特征融合模块；A₁(I)包含的特征图尺寸为512×10×10，1024×10×10，512×10×10，256×10×10，256×10×10，256×10×10；

4.5间接特征融合模块从第一变形模块接收A₁(I)，将A₁(I)中高层特征图即尺寸为256×10×10，256×10×10，256×10×10的特征图像素间的依赖关系和低层特征图即尺寸为512×10×10，1024×10×10，512×10×10的特征图像素间的依赖关系进行融合，运用融合的像素间的依赖关系，通过加权计算得到经过间接特征融合的特征图h₁,h₂,h₃,h₄,h₅,h₆，将h₁,h₂,h₃,h₄,h₅,h₆发送给直接特征融合模块；具体方法为：

4.5.1第一通道变换模块从第一变形模块接收A₁(I)，对A₁(I)中的特征图分别采用1×1卷积神经网络进行通道变换操作，得到A₂(I)＝{a₂₁，a₂₂，a₂₃，a₂₄，a₂₅，a₂₆}，a₂₁，a₂₂，a₂₃，a₂₄，a₂₅，a₂₆均为尺寸为256×10×10的特征图，将A₂(I)发送给特征拼接模块、直接特征融合模块；

4.5.2特征拼接模块从第一通道变换模块接收A₂(I)，对A₂(I)进行特征拼接操作，将6个特征图拼接成第一特征图I₁，I₁的尺寸为1536×10×10；将I₁发送给6个注意力模块；

4.5.36个注意力模块同时从特征拼接模块接收I₁，并行地运用矩阵乘法操作对I₁提取不同像素间的依赖关系；将所有特征图的信息都考虑在内，实现不同特征图间的间接信息融合；运用融合后的像素间的依赖关系，通过像素赋权模块和特征相加模块得到特征图h₁,h₂,h₃,h₄,h₅,h₆，将h₁,h₂,h₃,h₄,h₅,h₆发送给直接特征融合模块；

4.6直接特征融合模块从间接特征融合模块中的第一通道变换模块接收A₂(I)、从间接特征融合模块中的6个注意力模块接收h₁,h₂,h₃,h₄,h₅,h₆，将h₁,h₂,h₃,h₄,h₅,h₆统一通道数后，进行直接特征融合，得到经过直接特征融合后的特征集合J(I)＝{j₁，j₂，j₃，j₄，j₅，j₆}，j₁，j₂，j₃，j₄，j₅，j₆的尺寸为256×10×10，将J(I)发送给第二变形模块，具体方法为：

4.6.1第二通道变换模块从间接特征融合模块的6个注意力模块接收h₁,h₂,h₃,h₄,h₅,h₆，分别对h₁,h₂,h₃,h₄,h₅,h₆进行1×1卷积神经操作，将h₁,h₂,h₃,h₄,h₅,h₆的通道数变换为256，以减小后续计算量，得到特征图集合A₈(I)，将A₈(I)发送给侧向连接模块；A₈(I)中的特征图尺寸都为256×10×10；

4.6.2侧向连接模块从第二通道变换模块接收A₈(I)、从第一通道变换模块接收A₂(I)，对A₈(I)和A₂(I)进行侧向连接操作，即从A₈(I)最高层特征图h₆开始，对h₆特征图与h₅特征图进行相加并除2，得到h₆₅，再将h₆₅与h₄进行相加并除2，得到h₅₄，以此类推，直到获得h₂₁，将h₆，h₆₅，h₅₄，h₄₃，h₃₂，h₂₁放入到集合J(I)’中，将J(I)’与A₂(I)执行像素加法操作，得到J(I)＝{j₁,j₂,j₃,j₄,j₅,j₆}，j₁,j₂,j₃,j₄,j₅,j₆尺寸均为256×10×10，将J(I)发送给第二变形模块；

4.7第二变形模块从直接特征融合模块接收J(I)，对j₁，j₂，j₃分别进行下采样操作，得到d₁，d₂，d₃，尺寸分别为256×1×1，256×3×3，256×5×5；对j₅，j₆分别进行插值操作，得到d₅，d₆，尺寸分别为256×19×19，256×38×38；将d₁，d₂，d₃，j₄，d₅，d₆放到集合D(I)中，将D(I)发送给检测模块；

4.8检测模块从直接特征融合模块接收D(I)，利用分类网络获得预测目标的概率集合C(I)＝{c₁,c₂,c₃,…,c_e,…,c_E}，E为训练数据集图片中共包含的目标类别数；c_e＝{c_e1,c_e2,c_e3,…,c_ep,…,c_eP}，表示预测目标属于第e类的概率集合，c_ep表示属于第e类的预测目标中第ep个目标属于第e类的概率；利用定位网络获得预测目标的坐标值集合L(I)＝{l₁,l₂,l₃,…,l_e,…,l_E}，l_e＝{l_e1,l_e2,l_e3,…,l_ep,…,l_eP},表示预测目标属于第e个类别的坐标向量集合，是坐标系中预测目标框左上角横坐标，是预测目标框左上角纵坐标，是预测目标框右下角横坐标，是预测目标框右下角纵坐标；l_e和c_e中相同序号的元素对应相同的预测目标，然后利用非极大值抑制模块对L(I)和C(I)进行筛选，获得最终的目标检测结果，具体方法为：

4.8.1分类网络接收D(I)，生成预测目标的类别概率C(I)＝{c₁,c₂,c₃,…,c_e,…,c_E}；

4.8.2定位网络接收D(I)，生成预测目标的坐标值集合L(I)＝{l₁,l₂,l₃,…,l_e,…,l_E}；

4.8.3利用非极大值抑制模块对L(I)和C(I)进行筛选：

4.8.3.1初始化e＝1；

4.8.3.2将c_e中的概率值按照降序排列；

4.8.3.3将l_e中坐标值按照c_e的排序结果重新排列，保证属于同一个预测目标的类别概率和坐标值的元素序号相同；

4.8.3.4初始化p＝1；

4.8.3.5计算l_e(p+1)预测目标框与l_ep预测目标框的交并比；若交并比小于阈值t，则删除l_e(p+1)目标框对应的预测目标，转4.8.3.6；若交并比大于t，则保留l_e(p+1)对应的预测目标，转4.8.3.6；

4.8.3.6若p＜P，则令p＝p+1，转4.8.3.5；若p＝P，转4.8.3.7；

4.8.3.7若e＜E，则令e＝e+1，转4.8.3.2；若e＝E，转4.8.3.8；

4.8.3.8收集C(I)中被保留的类别概率，收集L(I)中被保留的坐标值，作为目标检测系统最终的预测结果。