[发明专利]基于多模态的高空安全带检测方法、装置、设备及存储介质

说明书

本申请提供一种基于多模态的高空安全带检测方法、装置、设备及存储介质，其中方法包括：获取第一成像装置采集的高空人员作业图和第二成像装置采集的高空人员热成像图；根据RGB图像对高空人员热成像图进行校准，得到校准后的热成像图；根据预设图像特征提取网络提取高空人员作业图的图像特征并作为第一图像特征；提取校准后的热成像图的图像特征并作为第二图像特征；根据第一图像特征和第二图像特征确定高空人员的人形图像；根据高空人员的人形图像确定高空人员关键部分的图像；根据高空人员关键部分的图像检测高空人员是否佩戴安全带。本申请能够快速准确的识别出高空人员的安全带佩戴规范与否，其具更优的鲁棒性。

技术领域

本申请涉及计算机技术领域，具体而言，涉及一种基于多模态的高空安全带检测方法、装置、设备及存储介质。

背景技术

随着社会的发展，企业对安全生产、安全施工的需求越来越明确，安全生产规定，在高空作业时，必须佩戴安全帽、安全带。其中安全带因形状多变，佩戴时有规范要求，如果佩戴不规范，在高空作业时，有生命安全隐患，而在高空作业时，因安全带承重问题，安全带某根带子断裂而工作人员不知的情况时有发生。所以时刻监测高空工作人员的安全带佩戴情况关乎工作人员的生命财产安全，不容小觑。

目前对于安全带检测，主要靠人工检查，或者通过传统的视觉检测，虽有研究，但检测精度不高，所以随着深度学习的发展，越来越多的研究者考虑用目标检测去检测安全带的佩戴以及佩戴规范，而在高空中，人的姿态变换较大，如果仅仅通过目标检测，很容易出现漏检和误检。

进一步地，传统方法中对于目标检测会使用SVM、kmean等算法，但检测的鲁棒性较差，当角度或者光照发生变化时，检测的准确度会大大降低。而仅仅采用红外热成像仪的热成像图去做检测时，因为室外错综复杂的环境，仅仅通过温度容易出现误检。近年来，随着深度学习的发展，越来越多的研究者会考虑使用深度卷积网络去做检测任务，如SSD[1].YOLO[2],Faster RCNN[3]等，基于神经网络的安全带检测，准确率相对于传统算法大大提高。但如果直接检测安全带，因为室外环境复杂，特别是建筑工地、电力行业，直接检测安全带，容易误检，而且在高空中，人的姿态变换较大，特征容易被遮掩，容易出现误检和漏检。

发明内容

本申请实施例的目的在于提供一种基于多模态的高空安全带检测方法、装置、设备及存储介质，用以快速准确的识别出高空人员的安全带佩戴规范与否，其具更优的鲁棒性。

为此，本申请第一方面公开一种基于多模态的高空安全带检测方法，所述方法包括：

获取第一成像装置采集的高空人员作业图和第二成像装置采集的高空人员热成像图；

根据RGB图像对所述高空人员热成像图进行校准，得到校准后的热成像图；

根据预设图像特征提取网络提取所述高空人员作业图的图像特征并作为第一图像特征；

提取所述校准后的热成像图的图像特征并作为第二图像特征；

根据所述第一图像特征和所述第二图像特征确定高空人员的人形图像；

根据所述高空人员的人形图像确定所述高空人员关键部分的图像；

根据所述高空人员关键部分的图像检测高空人员是否佩戴安全带。

本申请的方法与现有技术相比，本申请能够通过多模态输入，集成RGB图像和热成像图，通过其互补性，大大提高人的检测精度，而现有技术只通过某一模态做人的检测，进而在室外高空环境错综复杂的前提下，只通过其中某一模态输入容易错检漏检。另一方面，现有技术在高空中人的姿态变换较大的前提下，直接检测安全带的准确率不高，而本申请通过先检测人的关键部位，得到各个关键部位的关键点，再通过人的区域图像检测安全带，通过检测类别是否有安全带，来判断是否佩戴安全带，通过关键点与安全带位置的重合情况，判断安全的佩戴规范性，进而具有更优的检测准确性和鲁棒性。

在本申请第一方面中，作为一种可选的实施方式，所述根据所述第一图像特征和所述第二图像特征确定高空人员的人形图像，包括：