[发明专利]基于多模态的高空安全带检测方法、装置、设备及存储介质

权利要求书

1.一种基于多模态的高空安全带检测方法，其特征在于，所述方法包括：

获取第一成像装置采集的高空人员作业图和第二成像装置采集的高空人员热成像图；

根据RGB图像对所述高空人员热成像图进行校准，得到校准后的热成像图；

根据预设图像特征提取网络提取所述高空人员作业图的图像特征并作为第一图像特征；

提取所述校准后的热成像图的图像特征并作为第二图像特征；

根据所述第一图像特征和所述第二图像特征确定高空人员的人形图像；

根据所述高空人员的人形图像确定高空人员关键部分的图像；

根据所述高空人员关键部分的图像检测高空人员是否佩戴安全带。

2.如权利要求1所述的方法，其特征在于，所述根据所述第一图像特征和所述第二图像特征确定高空人员的人形图像，包括：

基于注意力机制，将所述第一图像特征和所述第二图像特征进行特征融合，得到融合特征；

根据所述融合特征确定所述高空人员的人形图像。

3.如权利要求2所述的方法，其特征在于，所述根据所述融合特征确定所述高空人员的人形图像，包括：

根据所述融合特征确定所述高空人员的区域位置；

根据所述高空人员的区域位置所在的图像部分裁剪出并作为所述高空人员的人形图像。

4.如权利要求1所述的方法，其特征在于，所述预设图像特征提取网络为VGG、GoogLeNet、ResNet、ResNeXt、DenseNet中的一种。

5.如权利要求1所述的方法，其特征在于，在所述根据所述高空人员关键部分的图像检测高空人员是否佩戴安全带之后，所述方法还包括：

当所述高空人员有佩戴安全带时，根据所述高空人员关键部分的图像检测所述高空人员佩戴的安全带佩戴方式是否满足预设条件。

6.如权利要求1所述的方法，其特征在于，所述根据所述高空人员的人形图像确定所述高空人员关键部分的图像，包括：

根据CPM、AlphaPose、OpenPose、Retinaface中一种人体关键部位检测网络对所述高空人员的人形图像进行识别，以得到所述高空人员关键部分的图像，其中，所述高空人员关键部分的图像包括人体左肩部、人体右肩部、人体左胯部、人体右胯部、人体中心部的图像。

7.如权利要求1所述的方法，其特征在于，所述根据所述高空人员关键部分的图像检测高空人员是否佩戴安全带，包括；

将高空人员关键部分的图像作为安全带检测模型的输入，以使得所述安全带检测模型识别所述高空人员是否佩戴安全带，其中，所述安全带检测模型为YOLO、SSD、faster-RCNN中的一种网络模式。

8.一种基于多模态的高空安全带检测装置，其特征在于，所述装置包括：

获取模块，用于获取第一成像装置采集的高空人员作业图和第二成像装置采集的高空人员热成像图；

校准模块，用于根据RGB图像对所述高空人员热成像图进行校准，得到校准后的热成像图；

第一特征提取模块，用于根据预设图像特征提取网络提取所述高空人员作业图的图像特征并作为第一图像特征；

第二特征提取模块，用于提取所述校准后的热成像图的图像特征并作为第二图像特征；

第一确定模块，用于根据所述第一图像特征和所述第二图像特征确定高空人员的人形图像；

第二确定模块，用于根据所述高空人员的人形图像确定高空人员关键部分的图像；

检测模块，用于根据所述高空人员关键部分的图像检测高空人员是否佩戴安全带。

9.一种基于多模态的高空安全带检测设备，其特征在于，所述设备包括：

处理器；以及

存储器，配置用于存储机器可读指令，所述指令在由所述处理器执行时，使得所述处理器执行如权利要求1-7任一项所述的基于多模态的高空安全带检测方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行如权利要求1-7任一项所述的基于多模态的高空安全带检测方法。