[发明专利]一种乘客异常行为识别方法、装置、设备及乘客监控系统

权利要求书

1.一种乘客异常行为识别方法，其特征在于，包括：

获取由箱内摄像头采集的客厢内部监控视频，其中，所述箱内摄像头安装在客厢内的顶部，并使镜头视野固定涵盖所述客厢内的地面区域；

根据所述客厢内部监控视频，在判定与单帧视频图像对应的运动幅度过大时，从所述客厢内部监控视频中提取出包含有所述单帧视频图像的连续多帧视频图像；

针对所述连续多帧视频图像中的各帧视频图像，进行人体关节点提取处理，得到对应的人体关节点数据，其中，所述人体关节点数据中包含有多个人体关节点在对应视频图像采集时的空间特征信息，所述多个人体关节点属于同一人体且能够表征人体作出异常行为；

将所述连续多帧视频图像及对应的人体关节点数据送入基于快慢双通道网络的异常行为识别模型，输出得到是否存在乘客异常行为的二分类识别结果，其中，所述快慢双通道网络包括有快速通道子网络、慢速通道子网络和综合处理输出层，所述快速通道子网络用于采用第一抽帧方式从所述连续多帧视频图像中抽取出多个第一图像，然后对所述多个第一图像进行3D卷积处理，所述慢速通道子网络用于采用第二抽帧方式从所述连续多帧视频图像中抽取出至少一个第二图像，然后对所述至少一个第二图像进行2D卷积处理，并综合来自所述快速通道子网络的3D卷积处理结果进行3D卷积处理，所述综合处理输出层用于根据所述快速通道子网络和所述慢速通道子网络的3D卷积处理结果，采用softmax函数得到是否存在乘客异常行为的二分类识别结果，所述第一图像为在视频图像上未加载对应的人体关节点数据的原图像，所述第二图像为在视频图像上加载有对应的人体关节点数据的新图像，所述第二抽帧方式的抽帧个数少于所述第一抽帧方式的抽帧个数。

2.如权利要求1所述的乘客异常行为识别方法，其特征在于，根据所述客厢内部监控视频，在判定与单帧视频图像对应的运动幅度过大时，从所述客厢内部监控视频中提取出包含有所述单帧视频图像的连续多帧视频图像，包括：

根据客厢内部背景图像，确定出所述客厢内部监控视频中单帧视频图像的前景像素边缘角点；

调用基于金字塔分层的L-K光流算法，获取所述单帧视频图像中所有前景像素边缘角点的光流矢量；

根据所述单帧视频图像中所有前景像素边缘角点的光流矢量，通过建立角点动能模型获取与所述单帧视频图像对应的总动能值；

针对所述单帧视频图像，若判定对应的总动能值大于预设阈值，则从所述客厢内部监控视频中提取出包含有所述单帧视频图像的连续多帧视频图像。

3.如权利要求1所述的乘客异常行为识别方法，其特征在于，针对所述连续多帧视频图像中的各帧视频图像，进行人体关节点提取处理，得到对应的人体关节点数据，包括：

针对所述连续多帧视频图像中的各帧视频图像，运用多人姿态估计系统AlphaPose软件从对应画面中识别出对应的多个人体关节点，其中，所述多个人体关节点属于同一人体且能够表征人体作出异常行为；

针对所述各帧视频图像，将对应的所述多个人体关节点在所述箱内摄像头的相机坐标系下的所有空间坐标作为在对应的人体关节点数据中的空间特征信息。

4.如权利要求1所述的乘客异常行为识别方法，其特征在于，在将所述连续多帧视频图像及对应的人体关节点数据送入基于快慢双通道网络的异常行为识别模型之前，所述方法还包括：

针对历史视频文件中的各个视频帧图像，进行所述人体关节点提取处理，得到对应的人体关节点数据；

采用所述第一抽帧方式从所述历史视频文件中抽取出第一视频帧图像；

采用所述第二抽帧方式从所述历史视频文件中抽取出第二视频帧图像，并在所述第二视频帧图像上标注出动作框以及用于反映有无乘客异常行为的动作类型；

以针对同一单位时间抽取的所有所述第一视频帧图像和所有所述第二视频帧图像为一个单元组，将多个不同的所述单元组送入所述快慢双通道网络，同时进行两个通道的训练，得到所述异常行为识别模型。

5.如权利要求1所述的乘客异常行为识别方法，其特征在于，在输出得到是否存在乘客异常行为的二分类识别结果之后，所述方法还包括：

当所述二分类识别结果指示存在乘客异常行为时，触发与该乘客异常行为对应的报警动作。