[发明专利]一种基于FPGA的低空航拍影像目标跟踪的方法

权利要求书

1.一种基于FPGA的低空航拍影像目标跟踪的方法，其特征在于：

摄像头和显示器通过HDMI数据线与FPGA相连，HDMI输入输出端与数据存储与处理模块通过AXI4总线进行通讯，利用网线与FPGA的以太网接口连接传入初始目标跟踪框；ARM对跟踪算法进行控制调度，通过AXI4总线将控制信号下发到各个模块；

针对摄像头获取的图像进行处理，根据提供的首帧目标框实现后续的目标跟踪；包括以下步骤：

(1)搭建基于Siamese卷积神经网络的目标跟踪深度网络架构：

网络架构包括SiamFC网络、倒残差模块和特征融合模块，由于采用孪生网络，因此两条分支共享网络参数；

卷积核的尺寸通过W×H描述，W，H分别表示卷积核的宽度与高度；图像的尺寸通过C×W×H描述，C，W，H分别表示图像的通道数，宽度与高度；

Siamese卷积神经网络采用AlexNet作为主干网络，并加入倒残差模块和特征融合模块；倒残差模块由一个1*1卷积核进行通道扩充，再用一个深度卷积核和1*1卷积核输出特征构成，将网络后四个卷积核用倒残差模块进行替换，起到降低计算量和加深网络作用，最终网络结构包括34个卷积层和4个池化层；在特征融合模块中，孪生网络的第7，10，15层分别上采样到相同尺寸，再经过1*1卷积核扩充到相同通道数，最后通过逐通道元素相加进行特征融合，得到两个特征融合层；

在特征提取过程中，以图像对的方式输入到网络中，每个图像对由第一帧的模板图像和搜索域图像构成，分别输入到对应的特征提取网络分支当中；模板分支输入图像大小为3×127×127，在第一个卷积层中，经过96个步长为2的11×11大小的卷积核，再经过BN层和RELU6激活层，得到大小为96×59×59的特征图；在第二个卷积层中，经过96个步长为2的3×3大小的卷积核做最大池化(MaxPooling)，再经过BN层和RELU6激活层，得到大小为96×29×29的特征图；在第三个卷积层中，经过288个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为288×29×29的特征图；在第四个卷积层中，经过288个步长为1的5×5大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为288×25×25的特征图；在第五个卷积层中，经过256个步长为1的1×1大小的卷积核，再经过BN层，得到大小为256×25×25的特征图；在第六个卷积层中，经过256个步长为2的3×3大小的卷积核做maxpooling，再经过BN层和RELU6激活层，得到大小为256×12×12的特征图；在第七个卷积层中，经过768个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为768×12×12的特征图；在第八个卷积层中，经过768个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为768×10×10的特征图；在第九个卷积层中，经过192个步长为1的1×1大小的卷积核，再经过BN层，得到大小为192×25×25的特征图；在第十个卷积层中，经过576个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为576×10×10的特征图；在第十一个卷积层中，经过576个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为576×8×8的特征图；在第十二个卷积层中，经过192个步长为1的1×1大小的卷积核，再经过BN层，得到大小为192×8×8的特征图；在第十三个卷积层中，经过576个步长为1的1×1大小的卷积核，再经过BN层和RELU6激活层，得到大小为576×8×8的特征图；在第十四个卷积层中，经过576个步长为1的3×3大小的卷积核做深度卷积，再经过BN层和RELU6激活层，得到大小为576×6×6的特征图；在第十五个卷积层中，经过128个步长为1的1×1大小的卷积核，再经过BN层，得到大小为128×6×6的特征图；由于本网络架构为孪生网络，因此搜索分支与模板分支共享相同的网络结构和网络参数，搜索分支输入图像大小为3×255×255，经过与模板分支相同的网络结构和网络参数，最终得到128×22×22的特征图；

在网络的特征融合模块，通过两个网络分支提取特征，进行特征融合获得两个特征融合层；特征提取的第七个卷积层的特征图，经过1×1大小的卷积核，得到128个通道的特征图一；特征提取的第十个卷积层的特征图，经过1×1大小的卷积核，得到128个通道的特征图，再双线性插值上采样到特征图一的尺寸，得到特征图二；特征提取的第十五个卷积层的特征图，经过双线性插值上采样到特征图一的尺寸，得到特征图三；特征图一、二、三通过逐通道元素相加，得到最终的融合特征层，模板分支融合特征层尺寸为128×12×12，搜索分支融合特征层尺寸为128×28×28；

最终将模板分支融合特征层看作尺寸为128×12×12的卷积核，步长为1，对搜索分支融合特征层做深度可分离卷积得到最终尺寸为1×17×17特征图，再对特征图进行双线性插值上采样得到1×255×255，得到跟踪目标位置和置信度；

在训练过程中，先对数据集进行裁剪，每个样本的大小裁剪为127×127的模板图像和256×256的搜索图像作为网络的输入，训练特征提取网络和分类网络均采用随机梯度下降法，权重衰减设置为0.0005，用高斯分布初始化参数，训练50个epoch，每个epoch有50,0000个样本对，批量大小为8，学习率从10^-2衰减到10^-8；

(2)针对跟踪算法的深度网络加速优化：

对训练好的深度网络模型进行加速优化，包括剪枝和量化两个步骤；

①剪枝

采用稀疏度阈值剪枝作为剪枝策略，对模型的每层卷积核的权重按绝对值大小进行排序，对小于阈值的权值设为0，阈值计算公式如下：

t∈{t₀，t₀+Δ_t，…，t₀+nΔ_t}

其中S_t为当前稀疏度阈值，S_i＝0为初始稀疏度，S_f＝0.5为目标稀疏度，Δ_t＝100为剪枝频率，t₀＝0为剪枝开始时刻，n＝100为剪枝次数；因此每100步网络训练进行一次剪枝，总共剪枝100次；

此外，记录网络未剪枝时在VOT2018数据集上的EAO结果，在每进行一次剪枝后测试VOT2018数据集的EAO结果，当EAO值相对初始结果下降超过0.05则停止剪枝，否则继续剪枝训练直到完成100次剪枝达到0.5的目标稀疏度；

②量化

对经过上述剪枝后得到的32bit浮点型网络模型进行8bit定点化，然后再进行网络训练，在前向传播时使用8bit的权重和激活函数，在反向梯度传播时使用浮点数进行梯度计算；

(3)基于低空航拍影像跟踪方法的在线跟踪框架：

结合TLD跟踪框架，将加速优化好的网络模型作为跟踪框架的跟踪器，利用TLD检测器和学习模块完成丢失目标找回以实现长时在线跟踪；

TLD检测器用于丢失目标找回，由方差分类器，集合分类器以及最近邻分类器三个级联分类器构成；首先通过方差分类器计算搜索域中像素灰度值的方差，筛除小于目标区域方差50％的图像块；然后将通过的图像块输入到集合分类器中，集合分类器有10个基本分类器，每个分类器具有13个像素比较对，因此输入的图像块的像素比较对两两比较后会产生10个13位二进制编码，对10个二进制编码对应后验概率求平均值与初始阈值0.6进行比较，筛选出正样本；最后将剩下的图像块输入到最近邻分类器中，进行相似性度量筛选出最终的正样本作为检测结果，相似度初始阈值为0.65；学习模块通过跟踪器的结果对检测器进行评估，并根据评估结果产生训练样本对检测器的目标模型进行更新，更新策略为在集合分类器和最近邻分类器更新时，选取负样本集中最大的后验概率平均值和相对相似度分别作为新阈值；

在跟踪前，利用学习模块产生正负样本来训练集合分类器、最近邻分类器；在跟踪过程中，利用目标跟踪深度网络模型计算出运动目标位置和置信度，利用检测器计算出检测结果；

当跟踪器的置信度大于等于0.4或跟踪器与检测器的IOU(Intersection over Union)大于等于0.3，判定为跟踪成功，输出跟踪结果；当跟踪器与检测器的IOU小于0.3，则根据当前帧跟踪框和检测结果对正负样本集进行更新，并对检测器进行更新；

当跟踪器的置信度小于0.4且跟踪器与检测器的跟踪框IOU小于0.3，判定跟踪失败，用检测器重新初始化目标位置和尺度，输出检测结果；并根据当前帧错误跟踪框和检测结果对正负样本集进行更新，并对检测器进行更新。