[发明专利]基于UWB模块、语义地图与视觉信息的定位方法

权利要求书

1.一种基于UWB模块、语义地图与视觉信息的联合定位方法，其特征在于，包括以下步骤：

步骤1，在游泳池场景安装布置UWB基站标签、双光谱摄像头；

步骤2，通过UWB定位获得游泳池内人员的位置；

步骤3，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置；

步骤4，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对；通过特征叠加模块将可见光、远红外图像特征子网络各自输出的特征图相加, 获得多模态叠加特征；将叠加特征输入卷积-池化组合操作进行复合特征提取, 并在叠加特征提取模块中向其全连接层传递，获取多模态叠加特征描述向量；

步骤5，建立基于UWB模块与语义地图的溺水目标联合定位模型，将所述多模态叠加特征描述向量引入溺水目标联合定位模型，人员在三种模态下的位置在地图上实时显示；

在步骤1中，在游泳池场景安装布置UWB基站标签、双光谱摄像头的具体步骤如下：

第一步：UWB模块包括基站与标签两类设备，用来对溺水目标进行实时定位与溺水判断；4个基站分别安置在游泳池2个长边的正上方，每侧各2个；

第二步：可见光与远红外摄像头绑定在一起，数量为4个，分别安装在游泳池4个角的正上方；

在步骤2中，通过UWB定位获得游泳池内人员的位置的具体步骤如下：

第一步：以游泳池水平面为基准，选取其中一角为坐标原点，建立直角坐标系；

第二步：计算4个基站相对坐标原点的位置（x_b1,y_b1,z_b1）,（x_b2,y_b2,z_b2）,（x_b3,y_b3,z_b3）,（x_b4,y_b4,z_b4）,获得人员定位位置（x_u,y_u,z_u）；

第三步：测试UWB定位的准确性、延时性，计算UWB定位的误差范围；

在步骤4中，将UWB定位数据、可见光视频中人员位置、热成像视频中人员位置绑定，进行人员配对的具体步骤如下：

第一步：设置定时器，每隔1秒提取UWB定位信息、可见光视频中人的位置信息；

第二步：分别计算UWB定位与可见光视频下人的角度、速度：设UWB中人员a与可见光视频中人员a’前1秒与当前时刻位置分别为（x_u1，y_u1）,（x_u2，y_u2）,（x_p1，y_p1），（x_p2，y_p2），则可见光视频中人员a’每秒角度与速度为

其中，为人体移动的时间间隔，UWB定位人员a每秒角度为速度为；

第三步：设置人员配对规则：若且，则a与a’配对，若在20s内配对结果保持一致，则a与a’配对成功；若在20s内配对结果不一致，则取配对结果中连续配对次数最多的结果作为最终配对结果；

在步骤3中，对可见光视频中人员进行检测，经过透视变换，获得游泳池内人员的位置的具体步骤如下：

第一步：双光谱摄像机固定之后，自采集游泳池内可见光视频，并对可见光视频切成图像；

第二步：利用labelimg软件对图像中游泳人员采用标注全身的方式标注；

第三步：利用YOLOv5对标注的图像训练，获得权值文件，应用于目标检测中；

第四步：利用YOLOv5对可见光实时视频中人员检测，利用deep sort对人员跟踪，获得目标检测矩形框；

第五步：计算目标矩形框的中心点；

第六步：标注图像中游泳池的位置，计算透视变换矩阵；

第七步：将目标矩形框的中心点做透视变换，获得人员在可见光视频下的位置。

2.根据权利要求1所述的一种基于UWB模块、语义地图与视觉信息的联合定位方法，其特征在于，在步骤5中，构建语义地图，人员在三种模态下的位置在地图上实时显示的具体步骤如下：

第一步：利用Qt软件设计游泳池地图界面；

第二步：传入人员在三种模态下的位置信息并在地图上实时显示。