[发明专利]基于机器视觉的多无人机探测定位跟踪系统及方法

权利要求书

1.一种基于机器视觉的空中多无人机实时检测定位方法，其特征在于，该方法基于探测定位装置来实现，所述探测定位装置包括基座，以及固定在所述基座上的rtk定位天线、惯性测量模块、计算终端和若干个摄像模块；若干个摄像模块的排布保证整个装置的360°的探测区域都能被两个及以上的摄像模块的视场覆盖，用于对空中的运动无人机进行检测；所述惯性测量模块和两个rtk定位天线分别用于测得整个装置的位置和姿态数据；

所述摄像模块为180°全景相机，共有四个，水平并排固定在所述基座的顶端的四个角上，且相邻两个摄像模块之间夹角为90°；每个所述摄像模块均有四个并排的摄像头，四个摄像头朝向与相机中线夹角分别为-67.5°、-22.5°、22.5°和67.5°，单个摄像头的视场角能覆盖50度以上的范围；

所述计算终端用于接收若干个摄像模块的图像数据，并将其输入内置的无人机探测算法中，得到无人机的检测结果；并将无人机的检测结果、图像数据以及整个装置的位置和姿态数据输入双目定位算法，得到探测到的无人机在地球坐标系中的位置；

所述实时检测定位方法包括如下步骤：

（1）将视场重合的两个摄像头组成一个双目相机组，保证所有的双目相机组共同覆盖360度场景；并对所有摄像模块中的摄像头进行内外参标定；其中，外参标定包括计算第k个探测定位装置中的第j个摄像头的子坐标系S_k-j到第k个探测定位装置的坐标系S_k的旋转矩阵R_k-j和平移矩阵T_k-j；

其中，所述坐标系S_k定义为：坐标原点为基座的顶层中点；x轴为经过两个rtk定位天线的方向；z轴指向基座正上方；y轴为满足右手螺旋法则的方向；

（2）通过摄像头实时采集包含运动无人机的图像，然后缩小图像尺寸；

（3）将缩小尺寸后的图像转换成灰度图，采用运动目标检测算法获取图像的前景掩码图，然后对前景掩码图做形态学处理，得到检测到的运动物体的集合；

同时将缩小尺寸后的图像输入到yolo算法中，得到识别出的通用物体的集合；

（4）计算集合B_mov和B_yolo的交并比IoU，从B_mov中删除通用物体集合中检测的通用物体bbox_yolo，得到疑似度高的运动目标的集合；

（5）删除中重叠的检测框，并得到处理后的目标检测集合B_uav；

（6）对处理后的检测框内进行图像识别，识别得到无人机检测集合；将前后帧的无人机检测集合进行数据关联IoU匹配；对未匹配到的检测对象，创建新的跟踪器跟踪新的检测对象；对匹配到的跟踪对象利用当前的目标状态更新跟踪器；删除未匹配到跟踪对象的跟踪器；

（7）将双目相机组检测到的图像和无人机检测集合输入到特征点提取算法，从各组的图像双目探测重合区域内提取特征点，将双目相机组的两张图像中的特征点进行匹配，通过极线约束对目标框内匹配的特征点进行筛选，若两个目标框中心满足极线约束，且相互匹配的特征点数目最多，则定义为相互匹配的目标框；从相互匹配的两个目标框内图像中提取特征点，根据极线约束对匹配的特征点进行筛选，每组匹配的特征点计算得到一个三维空间位置；将所有符合极线约束的特征点的三维空间位置的平均值作为观测到的第i个无人机在第k个探测定位装置的第j个相机坐标系S_k-j中的三维空间位置p_k-uavi-j；

（8）将p_k-uavi-j通过坐标转换，得到无人机在地球坐标系S_earth下的位置p_k-uavi。