[发明专利]一种规劝行人及时佩戴口罩的巡视车及其控制方法

权利要求书

1.一种规劝行人及时佩戴口罩的巡视车，其特征在于：包括地图构建模块、巡视车定位模块、口罩佩戴检测模块、路径规划导航模块、障碍物避障模块、目标跟随及语音提醒模块；

所述的地图构建模块根据巡视车上搭载的深度相机所拍摄获取到的RGB图像信息以及深度信息进行地图的构建，在首次巡航时根据所获取到的数据建立二维栅格地图，并将所建立的二维栅格地图传递到路径规划导航模块；所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；

所述的巡视车定位模块通过世界坐标系、基准坐标系、相机坐标系之间的转换关系，完成巡视车自身的定位，并将定位信息传送至路径规划导航模块；

所述的口罩佩戴检测模块将巡视车上搭载的深度相机所拍摄获取到的图像信息输入训练好的口罩检测网络中，进行口罩检测，获取所有未佩戴口罩人员的位置信息，将距离最近的人员位置信息传送至路径规划导航模块；

所述的路劲规划导航模块基于地图构建模块所建立的初始全局地图、巡视车定位模块的自身定位信息、口罩佩戴检测模块所传送过来的距离最近的行人位置信息，进行自主路径规划，并将巡视车周围环境的实时信息以及自身位置的实时数据传送到障碍物避障模块以及语音提醒模块；

所述的障碍物避障模块巡视车上搭载的深度相机实时采集到的周围环境信息，判断全局路径规划过程中是否遇到了动态障碍物，如果检测到动态障碍物的存在，则将障碍物在世界坐标系的位置信息实时传送到地图构建模块以及路径规划导航模块，通过路径规划导航模块进行局部路径的规划，更改全局路径规划的最优路线获取绕过障碍物后的最优局部路径规划；

当巡视车移动至目标所在位置后，目标跟随及语音提醒模块进行佩戴口罩的语音提示，通过对于目标是否佩戴口罩的实时检测，选择是否启用目标跟随模式；如果目标遵从提示主动佩戴口罩，巡视车则自主移动至下一个目标；如果目标人员未遵从提示佩戴口罩并试图离去，则启用目标跟随模式，通过深度相机实时获取检测巡视车与目标的相对位置信息，依据该相对位置对目标进行实时跟随，并将语音规劝模式切换至语音批评模式，在跟随目标人员的同时对其通过语音模块进行批评教育。

2.一种规劝行人及时佩戴口罩的巡视车控制方法，其特征在于，包括以下步骤：

步骤1：建立巡视区域的二维栅格地图；

将巡视车携带的深度相机采集到的RGB彩色图片信息和深度信息传送至前端视觉里程计，根据相邻图像之间运动的估计推算出相邻图像间相机的运动和局部地图的样子，并将不同时刻视觉里程计测量的相机位姿，以及回环检测的信息传入到后端非线性优化，得到全局一致的轨迹和地图；使用回环检测判断巡视车是否到达过先前的位置，如果检测到回环，则将信息提供给后端处理；后端根据估计的轨迹建立与任务要求一致的地图模型；

所述的二维栅格地图包括空闲区域、占用区域和未知区域，空闲区域指巡视车可以顺利通过的区域、占用区域指有障碍物阻挡的区域、未知区域指巡视车还未进行探索的区域；

步骤2：巡视车定位；

基于建立的二维栅格地图，获取巡视车在二维栅格地图的初始位置；巡视车所携带的深度相机将三维世界中的坐标点通过针孔相机模型映射到二维图像平面，对所获取的相邻两帧图像进行ORB特征点的提取，对每一帧图像分别进行一定阈值特征点的提取，再测量每一个特征点的描述子距离，并对其进行排序，取最近的一个作为匹配点；根据匹配好的点对，利用ICP的方法来解决两组3D点之间的运动估计问题，从而根据相邻两帧的图像获取相机的相对位姿，将该相对位姿关系映射到世界坐标系下，得到巡视车的实时位置信息；

步骤3：口罩佩戴检测；

将巡视车所携带的深度相机采集到的RGB彩色图片信息传入训练好的口罩检测网络中，获取未佩戴口罩行人的位置信息，选择相对距离最短的行人位置信息作为规劝目标；

步骤4：路径规划导航及障碍物避障；

建立全局最优路径并将最优路径所对应的决策信息下发到巡视车的执行机构，通过决策信息中所对应的线速度、角速度指令驱动巡视车按照规划的最优路径执行运动操作，执行机构所携带的编码器会实时反馈回巡视车实际所执行的线速度、角速度数据，从而进行不断优化巡视车位置，直至逼近决策信息所下发的位姿；

巡视车通过路径规划移动至规劝目标的过程中，通过外部所携带的深度相机获取到障碍物的位置信息，根据障碍物的位置信息进行避障；首先通过所获取到图片的深度信息得到周围环境的距离值；将该距离值与首次地图构建所预存的环境地图距离值进行对比，如果该距离值与预存的环境地图距离值的差值小于所设定的阈值则判定其为障碍物，并持续探测障碍物的状态；根据前后两次探测到的障碍物的距离和角度，判断障碍物的运动状态；当检测系统移动至障碍物一定距离时，根据障碍物的运动状态采取相应的避障方法进行避障运动，直至最终到达目标人员所在位置；

步骤5：目标跟随及语音提醒；

巡视车移动至目标位置后进行语音播报提醒，提醒目标人员佩戴口罩，并对其进行实时监测；如果目标人员在语音提示后一定时间内完成佩戴口罩动作，则移动至下一个目标人员的位置；如果目标人员在语音提示后未完成口罩佩戴则再次提示；如果目标人员在语音提示后试图离开，则启动目标跟随，通过深度相机采集获取被跟随目标身份的特征，锁定该跟随目标之后对跟随目标实时跟踪，同时语音提示从规劝模式调整为批评模式，并间隔一定时间进行一次播报。