[发明专利]一种基于深度学习的扶梯乘客危险行为识别方法

权利要求书

1.一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于，包括以下步骤：

1)获取位于扶梯楼层板上方的摄像机拍摄的含有乘客的扶梯视频段，将所有的扶梯视频段进行处理生成所需的数据集，再将数据集按比例划分原始训练集和原始验证集，并进行乘客异常行为类别标注；

2)对原始训练集和原始验证集进行坐标归一化，将所有乘客的关节坐标统一到同一数据分布下，得到归一化后的训练集和验证集；

3)对归一化后的训练集进行数据扩增，加入噪声生成新的图像并赋予相应的标签，作为最终训练集；

4)使用最终训练集训练改进的2S-AGCN网络，并使用归一化后的验证集验证模型精度以选取最优模型参数，其中对2S-AGCN网络的改进是使用自适应的多阶邻接矩阵融合方法，以及使用自学习的邻接矩阵获取骨架中关节点的连接关系；

5)对待检测视频的每一帧进行乘客骨架提取并跟踪，将得到的所有乘客的骨架序列送入训练好的改进2S-AGCN网络进行行为分类，并根据连续的多个骨架序列识别结果得到最终的乘客行为类别。

2.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤1)中，数据集生成及标注方法如下：

1.1)将乘客P1，在视频中的动作起始帧一直到结束帧间的视频段截取出来，同时该视频段的类别就标记为乘客P1的行为类别；

1.2)对视频段的每一帧图像使用目标检测网络框选出图中所有乘客并进行跟踪，然后使用骨架提取网络提取出所有乘客的骨架信息，从而得到所有乘客在全部帧的骨架检测结果，并将其按时间顺序组成骨架序列，然后只保存该视频段对应乘客P1的骨架序列；

1.3)使用插帧算法对骨架序列进一步处理，假设乘客P1的骨架序列的帧数为F_P1，而帧数必须为改进2S-AGCN网络缩放倍率F_count的整数倍，故需要对P1的骨架序列进行插帧处理，需要增加的帧数其中[·]表示向下取整操作，则在处各插入一帧，而插入帧的骨架信息通过对相邻前后两帧的骨架位置求平均获得，从而得到插帧后的骨架序列；

1.4)将乘客P1的行为类别，作为其对应插帧后骨架序列的类别标签，即插帧后骨架序列及其行为类别共同作为数据集的一个样本。

3.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤2)中，坐标归一化方法如下：

针对每一个骨架序列的某一帧，假设其骨架中包含K个关节点，所有关节点在图像中的坐标为{(x_i,y_i),i∈[1,K]}，(x_i,y_i)为第i个关节点的横坐标和纵坐标，则该骨架的外接矩形框坐标为(x_min,y_min,x_max,y_max)＝(min({(x_i)}),min({(y_i)}),max({(x_i)}),max({(y_i)})),i∈[1,K]，其中，(x_min,y_min)为外接矩形左上角的横坐标和纵坐标，(x_max,y_max)为外接矩形右下角的横坐标和纵坐标，min({·})、max({·})分别为集合{·}的最小值和最大值；则归一化后的关节点坐标为

4.根据权利要求1所述的一种基于深度学习的扶梯乘客危险行为识别方法，其特征在于：在步骤3)中，数据扩增方法如下：

3.1)以设定概率对整个骨架序列进行翻转，翻转方法为：假设归一化后骨架序列的关节点坐标为其中，K为骨架的关节点个数，T为骨架序列的帧数，为第t帧第i个关节点的横坐标和纵坐标，则翻转后的关节点坐标为

3.2)对于骨架序列的第t帧，随机选取N个关节点，其中选取的第j个关节点的坐标为在[-0.01，0.01]之间按照高斯分布随机选取两个数则添加位移噪声后的关节点坐标为从而添加随机位移噪声；

3.3)对于骨架序列的第t帧，随机选取M个关节点，其中选取的第j个关节点的坐标为则擦除该关节点后，其坐标为用于模拟因为遮挡而导致的关节点检测不全的情况。