[发明专利]一种基于目标检测与动作识别的多目标视觉监管方法

权利要求书

1.一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:包括以下步骤：

S1:采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；

S2:采用第一数据集对Yolov3-mobilenetv3网络进行训练，得到Yolov3-mobilenetv3目标检测模型；

S3:搭建tfpose人体骨架信息提取模型采集工人打电话和摔倒动作的骨架数据，构成第二数据集；

S4:采用第二数据集对IndRnn网络进行训练，得到IndRnn动作识别模型；

S5:利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像，并为其分配固定ID；

S6:摄像头根据图像中工人的位置与该图像中心位置的偏差，自动调节云台的角度位置，再根据工人在图像中所占整张图像的比例大小，自动调节焦距；

S7:Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况；

tfpose人体骨架信息提取模型提取分割出的工人图像的人体关键点，并转换成人体向量数据输入到IndRnn动作识别模型，识别每个工人的动作异常情况；

所述利用deepsort多目标追踪算法对工人正在进行工作的图像进行追踪检测，检测识别每个工人，分割出每个工人图像的具体方式如下：

所述deepsort多目标追踪算法采用tfpose作为检测器，利用tfpose人体骨架信息提取模型得到图像中每个工人的骨骼坐标，对工人的骨骼信息进行处理得到每个工人骨骼在x和y坐标下的最大值和最小值，即得到图像中工人的具体位置；

所述Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况，其中制服的穿戴情况判断方法如下：

S7-1:当目标检测模型检测并框出工人的制服区域；

S7-2:在该区域内随机选取N个点，通过HSV颜色检测方法，检测该N个点的HSV值与实际制服的颜色比较，当N个点的颜色值正确率达到一定阈值则断定该工人穿有制服；

所述Yolov3-mobilenetv3目标检测模型检测分割出的工人图像，得到每个工人的安全帽和制服的穿戴情况，其中安全帽的穿戴情况的判断方法如下：

当检测到安全帽位置在人体头部关键点坐标值区域，则判断工人戴了安全帽；

当检测到安全帽位置不在人体头部关键点坐标值区域，则判断工人没有戴安全帽。

2.根据权利要求1所述的一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:所述采集工人穿戴制服和安全帽的图像，数据增强后构成第一数据集；包括以下步骤：

S1-1:采集不同工人穿戴制服和安全帽的图像，将图像中有工人的前景图像与没有工人的背景图像分离；

S1-2:单独采集某一定数量的不同工作情形的背景图像；

S1-3:将分离出的工人的前景图像与采集到的不同工作背景进行图像融合，并让工人的前景图像在背景图像范围内有规律的进行移动，生成合成图像；

S1-4:将合成图像与采集的不同工人穿戴制服和安全帽的图像构成第一数据集，所述第一数据集经过标记工作生成类别位置标签，并划分训练集和测试集。

3.根据权利要求1所述的一种基于目标检测与动作识别的多目标视觉监管方法，其特征在于:所述IndRnn动作识别模型包括数据增强模块、特征提取模块和行为检测模块；

所述数据增强模块对tfpose人体骨架信息提取模型的关节点坐标进行处理，取18个人体关键点坐标按两两组合生成17个人体向量数据，将人体关键点的数据转换成人体向量数据，将数据增强后的数据传给所述特征提取模块；

所述特征提取模块接收数据增强模块输入的人体向量数据，通过深度网络自动学习出打电话和摔倒的行为相关的时序特征并传送给所述行为检测模块；

所述行为检测模块将特征提取模块输出的特征进行加权融合，识别每个工人的动作异常情况。