[发明专利]一种基于深度学习的扶梯乘客危险行为识别方法

说明书

本发明公开了一种基于深度学习的扶梯乘客危险行为识别方法，通过位于扶梯楼层板上方的摄像机拍摄含有乘客的扶梯视频段，使用目标检测、跟踪及关节点提取算法获得骨架序列，对骨架序列进行归一化、插帧处理制作数据集，同时将2S‑AGCN网络进行改进以提高骨架关节点连接的合理性，增强模型拟合能力，以用于对骨架序列进行行为分类，并对训练集进行数据扩增后训练该网络模型，在测试阶段，使用插帧及归一化方法保证数据分布与训练集一致，且根据连续多帧的分类结果决定当前帧乘客的行为类别，最终得到稳定的扶梯乘客危险行为识别结果。本发明可以快速准确的判断扶梯上是否存在乘客出现危险行为，保护乘客的人身安全不受威胁。

技术领域

本发明涉及扶梯乘客危险行为识别的技术领域，尤其是指一种基于深度学习的扶梯乘客危险行为识别方法。

背景技术

在现代社会，各种高层建筑不断出现，为了方便人们不同楼层间的变换，扶梯成为一个必不可少的设备，相比垂直电梯具有载客量大的优点，被广泛运用于各种场合，尤其是商场、地铁等客流量大的场所。然而，由于一些乘客的不规范乘坐可能会出现一些意想不到的情况发生，尤其是发生摔倒情况时，容易导致衣服或者头发被卷入扶梯，如果扶梯不能及时停止，将会促使情况恶化，严重威胁人的生命安全。目前，虽然扶梯大都具有防止侧面防夹的设备，但其主要依赖于扶梯侧面挡板的形变，对于摔倒这种情况只有当乘客被卷入很多时才可能触发，此时已经造成了严重代价，保护性不足。目前扶梯出入口处大都配有摄像机，通常用于检测地铁客流量或对乘客进行人脸识别以方便政府部门对特定人员的查找，并未用于乘客摔倒等异常行为的检测，不能充分利用监控信息。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提出了一种基于深度学习的扶梯乘客危险行为识别方法，该方法对扶梯上乘客的骨架进行检测并跟踪获得乘客的骨架序列，通过改进的2S-AGCN图卷积网络对骨架序列进行分类，完成乘客异常行为的检测，能够及时发现扶梯上乘客的危险行为，避免造成有进一步的人身损害。

为实现上述目的，本发明所提供的技术方案为：一种基于深度学习的扶梯乘客危险行为识别方法，包括以下步骤：

1)获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；

2)对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；

3)对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；

4)使用最终训练集训练改进的2S-AGCN网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2S-AGCN网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；

5)对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2S-AGCN网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。

进一步，在步骤1)中，数据集生成及标注方法如下：

1.1)将乘客P1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客P1的行为类别；

1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客P1的骨架序列；