[发明专利]基于Jetson NX平台的前端实时目标跟踪方法

说明书

本发明提出一种基于JetsonNX平台的前端实时目标跟踪方法，1)、保存主机或服务器上已经训练好的端到端离线模型；2)、在Jetson NX上将跟踪模型的pth文件转化成C编译专用的pt文件；3)、在Jetson NX上用C编译pt文件；4)、读取Jetson NX上的实时camera数据流；5)、指定第一帧要跟踪的目标，然后由c程序运行模型；6)、继续跳转到第四步继续执行；7)、人为退出和/自动终止跟踪过程。本发明的优点在于：在仅有一个GPU且显存较低的情况下，对camera进行前端(或本地视频)实时跟踪，将主流跟踪模型部署到移动端设备上，极大提升了基于深度学习的跟踪模型应用于边缘设备(嵌入式)的实时性，并显著降低功耗。

技术领域

本发明涉及目标跟踪领域，具体是指一种基于Jetson NX平台的前端实时目标跟踪方法。

背景技术

由于我们主流的深度学习模型都是在主机或服务器上直接保存的，在测试速度时常常以主机或服务器来计算。在深度学习模型布署到边缘设备(嵌入式)上时，由于我们的移动边缘设备(嵌入式)的CPU和GPU资源受限，而计算资源消耗非常大，所以跟踪前的预处理时间和跟踪过程中的处理时间都会比较长，实时性根本不可能达到主机或服务器测试时的速度。故直接将深度学习模型布署到移动边缘设备(嵌入式)的方法不可取。

现有技术中，NVIDIA Jetson NX套件配置了8GB128位LPDDR4和64GB的eMMC存储器；Jetson NX套件自身即带有大量丰富的外部接口，本跟踪设备中主要使用了其中的CSI接口和少量USB接口。具体来说Jetson NX套件的CSI接口将输入CSI信号流转换成deepstream流；相关视频流信号经Jetson NX套件中的六核ARM CPU和384个CUDA核心的GPU完成视频初始化处理和视频目标跟踪。其在跟踪运行过程中，Jetson NX的处理速度慢，达不到实时性要求。

因此，有必要提出一种基于Jetson NX平台的前端实时目标跟踪方法，来达到工业界的实时性要求。

发明内容

本发明要解决的技术问题是以上所述的技术问题，提供一种用于减轻Jetson NX资源受限的压力，并且可以在只有一个GPU的情况下，进行摄像头的实时目标跟踪的基于Jetson NX平台的前端实时目标跟踪方法。

为解决上述技术问题，本发明提供的技术方案为：一种基于Jetson NX平台和Linux系统的前端(或本地视频)的实时跟踪方法，其特征在于：所述的实施跟踪方法的步骤为：

1)、保存主机或服务器上已经训练好的端到端离线模型；

2)、在Jetson NX平台上将跟踪模型的pth文件转化成C编译专用的pt文件；

3)、在Jetson NX平台上用C编译pt文件；

4)、读取Jetson NX平台上的实时camera数据流；

5)、指定第一帧要跟踪的目标，然后由c程序运行模型；

6)、继续跳转到步骤4)继续执行；

7)、终止跟踪过程，包括人为退出和自动终止两种方式。

作为改进，所述的步骤1)中的离线模型训练无需边缘设备的参与。

作为改进，所述的步骤2)中的pth文件转化是在边缘设备上进行。

作为改进，所述的步骤7)中自动终止方式的触发条件是步骤4)读取的不是摄像头数据流而是本地视频则跟踪过程会自动终止于视频的最后一帧。

作为改进，所述的步骤2)中pth文件转化采用convert程序进行。