[发明专利]一种基于FPGA的低空航拍影像目标跟踪的方法

说明书

一种基于FPGA的低空航拍影像目标跟踪的方法属于数字图像处理领域，将深度学习应用于嵌入式平台中，设计了用于目标跟踪的Siamese卷积神经网络架构，针对FPGA的资源限制问题对其加速优化，并将其作为TLD(Tracking Learning Detecting)跟踪框架的跟踪器一同进行模块化封装；搭建图像采集、数据处理和存储、目标跟踪模块以及控制调度的硬件系统，保证了跟踪的稳定运行；同时，本发明提供人机交互界面，操作简易；通过该方法进行控制，解决了无人机等飞行器跟踪依赖地面控制，通信容易受到干扰的问题，能够保证准确实时在线跟踪。

技术领域

本发明属于数字图像处理领域，特别涉及一种基于FPGA的低空航拍影像目标跟踪的方法。

背景技术

随着低成本、无人机等低空航拍平台的日益普及，利用低空航拍影像进行目标跟踪在无人机系统中的相关应用中占有重要地位。通过无人机的光学传感器采集视频序列，在给定初始帧的跟踪框的情况下，利用高性能的图像处理平台结合计算机视觉算法预测出后续帧中目标的位置，可以为后续的智能如人机应用(诸如户外救援、交通疏导、军事侦察等任务)提供数据支持。近年来，随着计算机视觉和人工智能技术不断成熟，如何将目标跟踪技术应用到智能无人机上成为了研究热点，通过高效的视频图像处理算法与深度神经网络实现目标跟踪，对基于智能无人机的灾后搜救、航空测绘、公共安全维护等应用的发展具有重要的意义。

虽然利用无人机进行目标跟踪能够适应各种危险复杂环境，但无人机平台具有运动速度快、环境复杂、航拍影像中的目标尺度变化大等问题，也加大了目标跟踪的难度，对跟踪的实时性也提出了更高的要求。在过去的几十年中，一些具有代表性的目标跟踪研究成果已经成功应用于无人机平台，如粒子滤波、Cam-Shift、多尺度KCF等，这些方法都是基于传统方法进行目标特征提取，对特征提取模型要求较高，然而在面对目标尺寸小、图像不稳定、目标遮挡等问题时，会出现鲁棒性差、精度下降的状况。

随着人工智能技术的不断发展，大量基于深度学习的目标跟踪算法也在近几年涌现，如ECO、SiamFC、SiamMask等算法在目标跟踪精度和泛化性上取得了重大的突破，展现出传统算法所不具备的优异的性能，然而这些方法需要借助带有高性能的图像处理器的计算机(如GPU服务器)进行实现，这类计算机体积大、功耗高，无法搭载到低空航拍影像平台上，因此低功耗的嵌入式系统就成了目标跟踪系统中机载计算平台的理想选择，并且无人机的工作场景与航电系统对机载系统在功耗、算法选择、多芯片交互设计和高速PCB设计等诸多方面均提出了较高的要求。