[发明专利]一种基于改进的Mask RCNN的扶梯动作检测方法

说明书

本发明公开了一种基于改进的Mask RCNN的扶梯动作检测方法，包括：获取原始图像，对原始图像进行预处理，利用改进的Mask RCNN检测输出原始图像中单梯识别区域和人体关键点区域，改进的Mask RCNN包括把人体关键点检测的分支加入到原Mask RCNN中，既能实现原始图像中单梯识别的语义分割，又能对人体关键点进行检测；检测时以模型输出的人体关键点区域中心的像素坐标为圆心，以10个像素为半径，建立一个圆形区域，若语义分割后的单梯区域的像素值落在此圆的区域中，便可判定存在扶梯动作；否则，便可得出不存在扶梯动作。本发明将深度学习技术、机器学习技术和图片处理技术相结合，提高了扶梯动作识别的效果可大大提高检测效率的同时保证测量结果的准确可靠性。

技术领域

本发明涉及图像识别与处理技术领域，具体为一种基于改进的Mask RCNN的扶梯动作检测方法。

背景技术

在电网的安全生产工作过程中，保证工人的人身安全显得尤为重要。当相关工作人员爬单梯时，另外的相关人员必须扶住单梯，确保在单梯上工作的人员的安全。但是，每年全国因为没有相关工作人员扶住单梯导致人员摔伤的事件时有发生，造成了不必要的损失。因此，及时准确地发现是否有扶梯动作，然后采取相应的提醒措施，具有十分重要的意义。

近年来，随着深度学习的兴起，利用它对目标进行检测和关键点的识别也越来越普及，基于深度学习的目标检测算法，减少了人的干预，它能够自动提取出目标的各种特征，有利于物体的识别与检测。利用深度神经网络进行相关物体的语义分割，增加了物体检测的准确性。SSD既采用了YOLO检测算法中回归边界框和分类概率的方法，又使用了FasterRCNN中的anchor来对物体进行检测，它虽然识别速度快，但是检测准确率较低。Mask RCNN是基于Faster RCNN架构提出的卷积神经网络，在Faster RCNN的基础上添加了mask分支，同时实现了物体检测、实例分割、关键点检测三个功能。它具有较高的检测精度，能够实现对像素的分类，在实际应用中具有广泛的应用价值。因此本发明对Mask RCNN神经网路进行改进，对输出结果进行后处理，最后判断出是否有扶梯动作的发生，确保工作人员的人身安全。

发明内容

本发明公开了一种一种基于改进的Mask RCNN的扶梯动作检测方法，它解决了现有技术中扶梯动作检测效果不理想的问题，在提高检测效率的同时可保证较高的检测精度，所采用的技术方案如下：

一种基于改进的Mask RCNN的扶梯动作检测方法，所述方法包括：

获取终端设备捕获到的原始图像；

对原始图像进行预处理，包括对原始图像进行随机旋转；随机改变图像对比度；对原始图像添加噪声；随机对图像进行剪切，使用图像像素均值填充其他像素，使图片扩到600x600,最后再对图像进行镜像翻转操作；

利用改进的Mask RCNN检测输出原始图像中单梯区域和人体关键点区域，优选的，人体关键点为人手部位，所述改进的Mask RCNN包括把人体关键点检测的分支加入到原Mask RCNN中，这样改进的Mask RCNN模型既能实现原始图像中单梯识别的语义分割，又能对人体关键点进行检测；

对单梯识别区域和人体关键点区域进行联合判断，并输出扶梯姿态识别结果，所述联合判断包括以模型输出的人体关键点检测中关键点区域中心的像素坐标为圆心，以多个像素单位为半径，优选的以10个像素单位为半径，建立一个圆形区域，若语义分割后的单梯区域的像素值落在此圆的区域中，便可判定工作人员存在扶梯动作；若语义分割后的单梯的像素值没有落在此圆的区域内，便可得出不存在扶梯动作。

在上述技术方案的基础之上，所述对原始图像进行预处理具体为：

对所有原始图像进行0-360度的随机旋转和改变对比度，对图像添加不同程度的高斯噪声和椒盐噪声。

在上述技术方案的基础之上，所述改进的Mask RCNN具体包括：