[发明专利]一种机载光电平台中的实时目标跟踪系统及方法

摘要

本发明提供了一种机载光电平台中的实时目标跟踪系统及方法，属于智能视频处理技术领域，系统包括图像采集模块、图像解码模块、数据通信模块及目标跟踪模块。图像采集模块负责可见光图像以及红外图像数据的采集，完成采集后，红外图像数据与可见光图像数据输入图像缓存模块，数据通信模块负责与DSP芯片之间的指令信息和图像信息传递、与上位机以及后端伺服控制系统的通信，目标跟踪模块接收上位机指令、读取缓存好的红外图像数据与可见光图像数据，并输出相应处理结果，即目标方位信息，最后，将目标位置信息传递给后端伺服控制系统。本发明易于实现，能够在采集到图像后，立即在机载光电平台中进行实时目标跟踪处理，精度高、稳定性强、输出延迟低，可以代替人工实现对伺服系统的智能控制。

主权项

1.一种机载光电平台中的实时目标跟踪系统，其特征在于：包括图像采集模块、图像解码模块、数据通信模块和目标跟踪模块：所述图像采集模块包括：可见光图像传感器和红外图像传感器，可见光图像传感器与红外图像传感器同光轴安装；红外图像数据与可见光图像数据采用SDI协议传输；红外图像传感器与可见光图像传感器分别采集红外波段与可见光波段的目标图像数据，供目标跟踪使用；所述图像解码模块包括：两个SDI接收芯片、SRAM阵列、FPGA芯片和在FPGA芯片中运行的红外图像数据与可见光图像数据流解码算法，SDI接收芯片从图像采集模块接收到的SDI红外图像数据与可见光图像数据转换为并行数据流传输给FPGA芯片，FPGA芯片中的红外图像数据与可见光图像数据流解码算法从红外图像数据与可见光图像数据流中解码出有效红外图像数据与可见光图像数据，所述数据流中包括有效数据、消隐数据、帧同步、行同步数据，并利用SRAM阵列进行数据缓存；所述数据通信模块包括：串口通信芯片，在FPGA芯片中实现的数据通信程序，数据通信程序有两个功能，一是与系统外部的串口通信，包括解析接收到的指令和编码发送输出信息，二是FPGA芯片与DSP芯片之间的数据交互，包括从FPGA芯片传输至DSP芯片的红外图像数据与可见光图像数据、上位机控制指令，和从DSP芯片传输至FPGA芯片的目标跟踪结果；所述目标跟踪模块包括：多核DSP芯片及目标跟踪算法，DSP芯片上运行的目标跟踪算法根据从数据通信模块接收到的红外图像数据与可见光图像数据、上位机控制指令进行目标跟踪运算，自动解算图像中指定目标的位置，得到目标跟踪结果，并传输给数据通信模块输出；为实时完成指令响应、数据通信与目标跟踪工作，将多核DSP芯片上的工作分割为目标跟踪及系统控制两个任务，其中0～n‑1核完成目标跟踪任务，最后一个n核完成系统控制任务；所述目标跟踪算法采用基于红外与可见光图像的组合决策视觉目标跟踪算法，针对可见光图像与红外图像分别构建决策模型，判定所采集的样本是目标或是背景，解算目标位置；单一模型判断错误造成跟踪失败的概率较大，采用两个决策模型进行组合决策能够大幅降低跟踪失败的概率，实现稳定准确的目标跟踪，针对多核DSP芯片具有多个独立内核的结构特点，对需要同时运行的不同任务进行并行优化，实现了实时目标跟踪；所述目标跟踪模块中，基于红外与可见光图像的组合决策视觉目标跟踪算法，实现步骤如下：(1)根据目标初始位置，及初始红外图像数据与可见光图像数据，采集初始红外图像数据与可见光图像数据中的目标图像块作为正负训练样本，提取样本特征，分别构建决策模型Dv、Dir；(2)接收到新一帧的红外图像数据与可见光图像数据后，从目标在上一帧中位置周围采集候选样本，利用决策模型判断候选样本是否为目标，确定新一帧中目标位置；(3)根据损失函数确定哪一决策模型给出的结果为最优决策结果，组合两个决策模型的判别结果，得到最终输出结果，并利用最优结果修正给出次优结果的决策模型，消除产生次优结果的决策模型中的错误信息，使产生次优结果的决策模型能够在后续目标跟踪过程中给出更准确的目标跟踪结果，提升算法鲁棒性。