[发明专利]一种基于PYNQ框架的异构视觉目标跟踪系统及方法

说明书

本发明公开了一种基于PYNQ框架的异构视觉目标跟踪系统及方法，所述系统包括设置在PS上的目标跟踪主控模块和设置在PL上的特征提取运算加速模块；PS和PL之间采用AXI接口和DMA通道实现控制流与数据流的交互通路；目标跟踪主控模块，用于系统初始化配置、视频图像序列载入，对所述特征提取运算加速模块的调用与通信、响应图的显示和目标位置的输出；特征提取运算加速模块，用于对目标进行深度卷积特征提取，然后将特征图在频域内与目标模型进行互相关计算，进而计算最大响应，通过数据交互通路将计算结果回传至所述目标跟踪主控模块。本发明将融合深度卷积特征的相关滤波目标跟踪算法，部署在基于PYNQ框架的ZYNQ异构加速平台，达到稳健性与实时性的平衡。

技术领域

本发明属于计算机视觉目标跟踪领域，涉及一种基于PYNQ框架的异构视觉目标跟踪系统及方法。

背景技术

目标跟踪是一个融合特征提取、运动信息识别定位的交叉课题，是计算机视觉领域的重要研究方向。在图像处理分析技术、芯片技术、计算机技术快速发展的推动下,开始广泛应用于军事侦查、航天航空、公共安全等各个领域。

基于相关滤波框架的目标跟踪算法以优异的速度成为研究的热点，但由于使用HOG、CN等颜色等手工特征，对目标形变遮挡、背景复杂等场景表现不够稳健。基于深度学习的目标跟踪算法精度较高，但由于通过预训练卷积神经网络提取的深度特征，结构复杂计算量巨大，直接影响算法的实时性。

在实际研究与应用场合中，对硬件的性能资源以及软件的算法优化提出了更高的要求。传统的目标跟踪方案很难适应复杂多变场景的视频图像序列目标跟踪任务。相关滤波类算法精度较低，而深度学习类算法速度较慢，需要达到稳健性与实时性的平衡。

发明内容

本发明的目的在于克服上述技术缺陷，提出了一种基于PYNQ框架的异构视觉目标跟踪系统及方法，融合深度卷积特征的相关滤波目标跟踪算法，部署在基于PYNQ框架的ZYNQ异构加速平台，达到稳健性与实时性的平衡。

为了实现上述目的，本发明提出了一种基于PYNQ框架的异构视觉目标跟踪系统，所述系统包括设置在PS上的目标跟踪主控模块和设置在PL上的特征提取运算加速模块；PS和PL之间采用AXI接口和DMA通道实现控制流与数据流的交互通路；

所述目标跟踪主控模块，用于系统初始化配置、视频图像序列载入，对所述特征提取运算加速模块的调用与通信、响应图的显示和目标位置的输出；

所述特征提取运算加速模块，用于对目标进行特征提取，然后将特征图在频域内与目标模型进行互相关计算，进而计算最大响应，通过数据交互通路将计算结果回传至所述目标跟踪主控模块。

作为上述系统的一种改进，所述目标跟踪主控模块的具体实现过程为：

进行系统初始化配置，设定相关参数，载入视频图像序列以及第一帧目标位置，建立高斯回归标签，通过汉宁窗去除边界效应；

加载深度卷积网络预训练模型VGG-Net-19，将视频图像序列输入所述特征提取运算加速模块，提取多层深度卷积特征；

若为第一帧，频域进行核自相关计算，进而得到岭回归分类参数，进行快速训练，同时对目标模型进行更新；

若为后续帧，根据前一帧目标区域提取图像区域特征，然后将特征在频域内与目标模型进行互相关计算，进而计算最大响应；

根据所述特征提取运算加速模块返回的运算结果，通过傅里叶反变换求出当前帧相对于前一帧目标的位移，输出目标位置；

根据训练结果，计算三个置信度评估指标，根据结果判断是否有遮挡，如有遮挡，将当前模板备份，对目标位置进行自适应更新，对目标模型进行更新。