[发明专利]一种基于改进的Mask RCNN的扶梯动作检测方法

权利要求书

1.一种基于改进的Mask RCNN的扶梯动作检测方法，其特征在于，所述方法包括：

获取终端设备捕获到的原始图像；

对原始图像进行预处理，包括对原始图像进行随机旋转；随机改变图像对比度；对原始图像添加噪声；随机对图像进行剪切，使用图像像素均值填充其他像素，使图片扩到600x600,最后再对图像进行镜像翻转操作；

利用改进的Mask RCNN检测输出原始图像中单梯识别区域和人体关键点区域，所述改进的Mask RCNN包括把人体关键点检测的分支加入到原Mask RCNN中，这样改进的MaskRCNN模型既能实现原始图像中单梯识别的语义分割，又能对人体关键点进行检测；

对单梯识别区域和人体关键点区域进行联合判断，并输出扶梯姿态识别结果，所述联合判断包括以模型输出的人体关键点检测中关键点区域中心的像素坐标为圆心，以多个像素单位为半径，建立一个圆形区域，若语义分割后的单梯区域的像素值落在此圆的区域中，便可判定工作人员存在扶梯动作；若语义分割后的单梯的像素值没有落在此圆的区域内，便可得出不存在扶梯动作。

2.根据权利要求1所述的基于改进的Mask RCNN的扶梯动作检测方法，其特征在于，所述对原始图像进行预处理具体为：

对所有原始图像进行0-360度的随机旋转和改变对比度，对图像添加不同程度的高斯噪声和椒盐噪声。

3.根据权利要求2所述的基于改进的Mask RCNN的扶梯动作检测方法，其特征在于，所述改进的Mask RCNN具体包括：

在RPN网络的后面，添加回归人体关键点检测的分支，与类别分类分支、边框回归分支和mask分支并列，改进的Mask RCNN可在一个神经网络中实现语义分割和关键点检测两项功能。

4.根据权利要1-3中任一所述的基于改进的Mask RCNN的扶梯动作检测方法，其特征在于，所述人体关键点为人手部位。

5.根据权利要求4所述的基于改进的Mask RCNN的扶梯动作检测方法，其特征在于，所述联合判断包括以模型输出的人体关键点检测中关键点区域中心的像素坐标为圆心，以10个像素单位为半径，建立一个圆形区域，若语义分割后的单梯区域的像素值落在此圆的区域中，便可判定工作人员存在扶梯动作；若语义分割后的单梯的像素值没有落在此圆的区域内，便可得出不存在扶梯动作。