[发明专利]一种人的不安全行为识别方法及系统

权利要求书

1.一种人的不安全行为识别方法，其特征在于，所述方法包括：

分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；所述分别对场景、防护用品、人三类因素进行多级因子划分具体为：

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子；

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库；针对每个场景基础因子的不安全行为，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和人的行为的标准安全图像，形成标准图像库；

通过双目相机按预设周期采集作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息；

通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品和人三类对象，对每类对象，按照基础因子进行图像再分割，得到子图像；

确定不同场景的安全作业范围，根据场景、防护用品和人的三维位置信息建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；所述不同场景的安全作业范围为不同三级因子的安全作业范围，根据不同场景三级因子的类型、具体应用确定；将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为；

分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，对于多个场景的安全作业范围交叉的复杂场景，同时进行交叉检测。

2.根据权利要求1所述人的不安全行为识别方法，其特征在于，所述对每类对象，按照基础因子进行图像再分割具体为：

针对场景，根据每个三级因子进行特征提取；

针对劳动防护用品，直接进行头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具特征提取；

针对人，直接进行头部、眼面部、耳部、颈部、躯干、手部、足部特征提取；

所述基础因子为场景、防护用品、人三类因素的所划分的最小因子级别。

3.根据权利要求2所述人的不安全行为识别方法，其特征在于，所述将分割后的子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为具体为：

分别将第一图像、第二图像再分割后的子图像按照场景与对应的安全作业范围内的防护用品、人分组；将分组输入的子图像与标准图像库中每个标准安全行为对应的标准安全图像进行匹配，分别计算场景子图像、防护用品子图像、人的行为子图像与对应的标准安全图像之间的相似度，当相似度均超过对应的阈值时，匹配成功，没有不安全行为；

当人的行为子图像中有任何一个匹配失败，输出匹配失败的图像和对应的不安全行为作为识别结果；

比较第一图像和第二图像的对应的子图像识别结果，若存在子图像识别结果不同，选取匹配成功的作为识别结果。

4.一种人的不安全行为识别系统，其特征在于，所述系统包括：

行为库建立模块：分别对场景、防护用品、人三类因素进行多级因子划分，根据所述多级因子划分进行人的不安全行为归类分组，形成人的不安全行为库；所述分别对场景、防护用品、人三类因素进行多级因子划分具体为：

将场景划分为固定设备、手持工器具、其他工具、环境4个二级因子，针对每个二级因子划分三级因子；其中，固定设备的三级因子包括配电柜、起重设备、焊接/气割设备、压力容器；手持工器具的三级因子包括电钻、手提砂轮、电烙铁、行灯；其他工具的三级因子包括移动平台、移动梯、防护栏杆、警戒线；环境的三级因子包括现场火源、输电线路、夜间以及孔洞、坑、井、沟；

将防护用品划分为头部防护用品、眼面部防护用品、呼吸器官防护用品、听觉器官防护用品、手部防护用品、足部防护用品、躯干防护用品、防坠落具9个二级因子；

将人划分为头部、眼面部、耳部、颈部、躯干、手部、足部7个二级因子；

将场景的三级因子、防护用品的二级因子、人的二级因子排列组合，结合相应的安全行为标准形成人的不安全行为库；

图像库建立模块：针对每个场景的不安全行为分组，获取对应的标准安全行为，对每个标准安全行为，分别配置场景基础因子、防护用品基础因子和对应的标准安全行为的标准安全图像，形成标准图像库；

位置确定模块：通过双目相机按预设周期获取作业现场第一图像、第二图像，对作业现场进行三维重构，确定场景、防护用品和人的三维位置信息，获取不同场景的安全作业范围；建立每个场景与对应的安全作业范围内的防护用品、人之间的关联关系；所述不同场景的安全作业范围为不同三级因子的安全作业范围，根据不同场景三级因子的类型、具体应用确定；

图像分割模块：通过神经网络图像分割模型分别将所述第一图像、第二图像分割为场景、防护用品、人三类对象，对每类对象，按照多级因子进行图像再分割；

行为识别模块：将分割后的子图像按照所述关联关系分组，每组子图像分别与标准图像库中的图像进行场景匹配、防护用具匹配、人的行为匹配，分别识别出各种场景下人的不安全行为；

分别对每个场景各自对应的安全作业范围内的不安全行为进行检测，对于多个场景的安全作业范围交叉的复杂场景，同时进行交叉检测。