[发明专利]一种基于深度残差网络的随机蕨目标跟踪方法

摘要

本发明公开了一种基于深度残差网络的随机蕨目标跟踪方法，涉及计算机视觉及模式识别技术领域。从初始图像中选择并确定要跟踪的目标对象，检测器构建与初始化；组成的图像序列并按照时间顺序，逐个提取帧图像作为输入图像；跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与目标图像块做比较；提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器；检测器对整个图像区域执行目标检测，比较所有测试图像块的目标概率，将具有最大目标概率的测试图像块所对应的位置作为目标所在的位置，目标定位完成。

主权项

1.一种基于深度残差网络的随机蕨目标跟踪方法，包括如下步骤：步骤一、目标选取：从初始图像中选择并确定要跟踪的目标对象，目标选取过程通过运动目标检测自动提取，或者通过人机交互方法人工指定；步骤二、检测器构建与初始化：这里检测器包含深度残差网络和随机蕨两个部分，其中深度残差网络用于特征表达，而随机蕨用于计算目标概率，进而实现对目标的检测与定位；对于随机蕨，这里采用两点比较特征作为随机蕨的特征，该两点比较特征为比较两个值的大小，若第一个值大于第二个值，则第一个值的特征值为1，否则特征值为0；根据随机蕨的结构特性，如果一个蕨采用N个两点比较特征，则该蕨包含2N个叶节点，每个叶节点对应一个N位的二进制编码值；对于深度残差网络，这里采用预训练网络ResNet‑50对图像进行特征表达，输入图像经过224×224像素大小的尺度归一化后作为ResNet‑50网络的输入数据；这里将ResNet‑50的174层作为特征表达层，它有2048个值输出，在这2048个值中随机选择两个不同的值构成两点比较特征，并选择8个不同的两点比较特征为一组，一共选择128组，相应地，根据每一组的8个两点比较特征构成一个蕨，一共产生128个蕨，每个蕨有28＝256个叶节点，每个叶节点对应一个8位的二进制编码值，叶节点对应的编码值范围为00000000～11111111，叶节点的编码值代表了对应的8个两点比较特征的取值；通过以步骤一中确定的目标图像块为正样例，以及在其周围选取的背景图像块为负样例生成初始训练集，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet‑50网络正向处理后输出获得2048个值，然后按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到与其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N+或者负样例累加变量N‑加1，即如果此次输入到检测器训练的样例是正样例，则N+加1，如果此次输入到检测器训练的样例是负样例，则N‑加1；初始时，所有蕨的叶节点的正样例累加器变量N+和负样例累加变量N‑均初始化为0；步骤三、图像输入：在实时处理情况下，提取通过摄像头采集并保存在存储区的视频图像，作为要进行跟踪的输入图像；在离线处理情况下，将已采集的视频文件分解为多个帧，组成的图像序列并按照时间顺序，逐个提取帧图像作为输入图像；如果输入图像为空，则整个流程中止；步骤四、短时跟踪：这里短时跟踪采用规则化交叉互相关的方法，设测试图像块z与NCC短时跟踪的目标图像块zo的规则化交叉互相关值为vNCC(z,zo)，跟踪过程中短时跟踪器在以上次确定的目标位置为中心的搜索区域与目标图像块做比较，搜索使vNCC值最大的位置作为当前预测的目标位置，如果此最大的vNCC>0.85，则表示目标可信，目标定位完成，跳转到步骤五，否则表示目标不可信，跳转到步骤六；步骤五、检测器训练：提取目标图像块作为正样例，并在其周围选取背景图像块作为负样例，生成在线训练集并输入到检测器，选取的正、负样例均与目标具有相同的大小；将这些样例逐个输入到检测器，首先，每个样例通过ResNet‑50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，接着将该二进制编码值对应的叶节点中的正样例累加器变量N+或者负样例累加变量N‑加1，即如果此次输入到检测器训练的样例是正样例，则N+加1，如果此次输入到检测器训练的样例是负样例则N‑加1；跳转到步骤三；步骤六、目标定位与更新：检测器对整个图像区域执行目标检测，这里采用滑动窗的方式在图像中提取测试图像块，每个测试图像块对应一个图像位置；将测试图像块输入到检测器中，首先，该图像块通过ResNet‑50网络正向处理后输出获得2048个值，然后，按照随机蕨的构成，计算每个蕨的8个两点比较特征值进而得到其对应的二进制编码值，并根据该二进制编码值找到对应的叶节点，然后计算该叶节点中正样例所占的比例，并将其作为该蕨评估该测试图像块属于目标的概率P，即最后对所有蕨评估得到的概率计算平均值，并将其作为该测试图像块最终属于目标的概率；比较所有测试图像块的目标概率，将具有最大目标概率的测试图像块所对应的位置作为目标所在的位置，目标定位完成；如果该最大目标概率>0.85，则根据新确定的目标位置更新NCC短时跟踪的目标图像块；跳转到步骤三。