[发明专利]一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统

权利要求书

1.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，所述系统包括：

固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；

消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；

固定相机中具有公共视场区域的两个相机、消毒机器人的双目移动相机分别组成立体视觉系统；

固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；

识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；

控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。

2.根据权利要求1所述的系统，其特征在于，所述固定相机由M台固定在公共场所的相机组成，相邻具有公共区域的两个相机组成立体视觉系统。

3.根据权利要求1所述的系统，其特征在于，所述消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。

4.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，包含：

步骤a、对M台固定相机、N对双目移动相机进行立体标定；

步骤b、M台固定相机、N对双目移动相机图像采集与传输；

步骤c、打喷嚏、咳嗽行为自动识别；

步骤d、人员室内定位与打喷嚏方向确定；

步骤e、飞沫、气溶胶空间分布实时预测；

步骤f、机器人运动平台定位、路径规划；

步骤g、多机器人消毒任务分配。

5.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤c具体包括：

步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；

步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；

步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；

步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。

6.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤d具体包括：

步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；

步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。