[发明专利]一种基于深度学习检测跟踪的地面无人平台自主跟随系统

权利要求书

1.一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，包括地面无人平台、三轴自稳定云台、深度相机、数据处理模块和电源模块；

所述地面无人平台用于承载三轴自稳定云台、深度相机、数据处理模块和电源模块；并根据数据处理模块发送的控制量向待跟踪目标运动或保持原位置；

所述三轴自稳定云台用于承载深度相机，并根据数据处理模块发送的控制量控制自身的运动，确保待跟踪目标在深度相机视场内；并滤除地面无人平台行驶过程中产生的抖动，保持深度相机稳定；

深度相机包括1个白光相机、1个阵列射灯、1对红外相机和内置处理器；白光相机提供RGB彩色图像，阵列射灯、红外相机提供深度图像；深度相机的内置处理器提供RGB彩色图像与深度图像的位置映射关系，即在RGB彩色图像中定位目标后，在深度图像中获取目标距离；RGB彩色图像用于目标检测与跟踪，深度图像用于测量地面无人平台所处位置与待跟踪目标距离；

所述数据处理模块用于对深度相机数据进行处理，确定跟踪目标、进行目标跟踪、控制地面无人平台和三轴自稳定云台运动；所述数据处理模块利用YOLO-S目标检测算法对RGB彩色图像进行目标检测，得到一个或多个候选目标；利用目标筛选器对一个或多个候选目标图像进行姿态识别，选取设定姿态的候选目标作为待跟踪目标；利用TripleRPN目标跟踪算法实时跟踪目标，得到目标在场景图像中的像素坐标；利用像素-角公式计算待跟踪目标与地面无人平台的相对角度关系，利用深度图像获取待跟踪目标与地面无人平台距离，计算地面无人平台的控制量，使得地面无人平台转向待跟踪目标，计算三轴自稳定云台的控制量，使得三轴自稳定云台保持待跟踪目标在深度相机视场内；

所述电源模块为三轴自稳定云台、深度相机和数据处理模块供电。

2.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，所述地面无人平台包括底盘、行驶机构、摆臂、内置运动控制板和内置电源，内置运动控制板控制地面无人平台转向待跟踪目标，内置电源为地面无人平台供电。

3.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，所述三轴自稳定云台包括底座、方位轴框架、方位轴电机、滚转轴框架、滚转轴电机、俯仰轴框架、俯仰轴电机、惯性传感器和云台驱动器。

4.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，YOLO-S目标检测算法的网络结构包含特征提取网络、检测网络，特征提取网络依次由2个卷积层、1个残差模块、1个卷积层、2个残差模块、1个卷积层、4个残差模块、1个卷积层、4个残差模块、1个卷积层、4个残差模块组成，检测网络由3个卷积层、YOLO层组成；提取特征提取网络中第7个、第11个、第15个残差模块输出的特征图作为其最终输出，输入检测网络进行检测。

5.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，目标筛选器使用卷积姿态网络进行人体姿态识别，根据设定人体姿态下关节点的位置关系，选取设定姿态的候选目标作为待跟踪目标。

6.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，TripleRPN目标跟踪算法的网络结构包括输入层、特征提取网络和区域候选网络；特征提取网络由三个具有相同网络结构、参数、权重的网络I、II、III组成，网络I输出初始帧模板特征图，即初始帧待跟踪目标图像经网络I处理后得到的特征图；网络II输出待检测帧特征图，即场景图像经网络II处理后得到的特征图；网络III输出更新帧模板特征图，即更新帧待跟踪目标图像经网络III处理得到的特征图；启动跟踪时，更新帧待跟踪目标图像与初始帧待跟踪目标图像相同，然后采用跟踪区域自适应策略进行更新。

7.如权利要求1所述的一种基于深度学习检测跟踪的地面无人平台自主跟随系统，其特征在于，使用分布式跟踪策略进行目标跟踪，在复杂地形环境下进行目标跟踪时，对目标的跟踪运动由地面无人平台运动、三轴自稳定云台运动共同实现：在地面无人平台难以到达理想位姿时，利用三轴自稳定云台运动完成目标跟踪；在下次跟踪运动时，地面无人平台完成跟踪运动，三轴自稳定云台恢复镜头主轴与无人平台中轴共面状态。