[发明专利]基于SoC的嵌入式运动目标实时检测跟踪系统及方法

摘要

本发明公开了基于SoC的嵌入式运动目标实时检测跟踪系统及方法；系统包括：图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元；图像传感器由云台的带动在所监视的范围内进行360度的旋转拍摄；所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出云台控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果。

主权项

1.基于SoC的嵌入式运动目标实时检测跟踪系统，其特征是，包括：图像传感器、采集卡、图像存储单元、图像处理单元、控制处理单元、云台和图像显示单元；/n图像传感器由云台的带动在所监视的范围内进行360度的旋转拍摄；所拍摄的图像经过采集卡传送到图像存储单元，图像存储单元存储由采集卡传送来的图像，并通过总线将存储的图像传送到图像处理单元，图像处理单元对传送进来的图像进行处理，并根据处理结果给控制处理单元发送指令，控制处理单元给出云台控制指令，云台根据指令带动图像传感器旋转至期望的角度，同时图像处理单元将处理后的图像发送至图像显示单元，图像显示单元显示图像处理结果；/n所述图像处理单元包括彼此连接的ARM处理器和DSP处理器；图像处理单元接收到图像存储单元传输过来的图像后，ARM处理器里面存储的基于OpenCV库的目标检测跟踪算法开始对传送进来的图像进行处理，在处理的过程中，在算法调用OpenCV库里面的库函数对图像进行处理时，OpenCL会自动调用DSP处理器，将需要并行加速的部分通过高速总线分配给DSP处理器进行处理，DSP处理器处理后，通过高速总线将处理结果反馈给ARM处理器，ARM处理器根据DSP处理器反馈的结果继续后续处理，最后，ARM处理器将处理的结果发送给图像显示单元进行显示；/n所述目标检测跟踪算法如下：/n在视频图像中识别追踪处理的第1帧；框选目标区域图像作为跟踪目标P；/n根据跟踪目标P左上角的坐标、跟踪目标P的长和宽大小，根据不同的缩放尺度和移动步长创建滑动窗口，并保存所有滑动窗口的左上角坐标、滑动窗口的大小、滑动窗口的缩放尺度以及与跟踪目标P窗口的重叠率；/n在所有的滑动窗口中寻找与跟踪目标P距离最小的10个窗口，然后把找到的窗口保存到good_box容器，通过仿射变换产生正样本，把重叠率低于0.2的窗口归入bad_box容器，作为负样本；/n准备分类器，有三个部分：方差分类器、集合分类器、最近邻分类器，方差分类器、集合分类器、最近邻分类器三个分类器依次连接；/n在跟踪目标P中均值采样N个特征点，利用金字塔光流法跟踪N个特征点，预测前向轨迹，再往回跟踪，产生后向轨迹，然后调用OpenCV库里面的库函数计算前向和后向轨迹误差，根据误差阈值判断是否含有跟踪目标，若前向和后向轨迹误差大于误差阈值则表示有跟踪目标，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口；/n根据最后的筛选出的候选目标窗口，选择与跟踪目标P距离最近的窗口作为下一帧的待检测跟踪目标；/n若前向和后向轨迹误差小于误差阈值则表示没有跟踪目标；进入下一帧图像的检测；/n所述通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口中：/n方差分类器，利用积分图计算所有滑动窗口的方差，方差大于第一设定阈值的滑动窗口，表示含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入集合分类器；/n集合分类器，首先将滑动窗口进行了归一化处理得到图像块，然后得到图像块的特征值，然后计算该特征值对应的后验概率累加值，若后验概率值大于第二设定阈值，就认为含有跟踪目标P，将筛选出来的含有跟踪目标P的滑动窗口送入最近邻分类器；/n最近邻分类器，计算图像块到跟踪目标P的相关相似度，若相关相似度大于第三设定阈值，则认为含有跟踪目标P，通过三个方差分类器、集合分类器和最近邻分类器层层筛选出来的滑动窗口，作为最后的候选目标窗口。/n