[发明专利]面向大型多人车厢场景的异常行为分析方法

权利要求书

1.一种面向大型多人车厢场景的异常行为分析方法，其特征在于，包括步骤如下：

1)利用人体姿态估计算法对车厢内监控视频进行数据提取，得到单人或多人空间骨架节点序列；

2)训练单人行为识别网络，该网络对输入的单人空间骨架节点序列进行识别，判断该人是否存在异常行为；

3)训练多人行为识别网络，该网络通过对输入的多人空间骨架节点序列进行识别，进而判断是否存在异常行为；

4)对多人行为识别网络的输出结果进行信息融合以对多人行为做进一步判断，根据单人和多人行为识别结果，发出提示通知；

所述步骤4)中采用的融合方法是基于D-S证据理论的融合，根据多人异常行为识别网络输出出现异常行为的概率得到异常行为、非异常行为的基础概率分配以及预估方法判别结果的不确定性；然后根据上述得到的三个结果计算融合后所得结果的不确定性；最后根据融合结果，采用一定的判别准则，确定获得最大支持度的可能性，并得出是否出现异常行为。

2.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤1)中采用热成像摄像机进行车辆内视频数据的采集。

3.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤1)具体包括：

11)对车厢内监控视频进行预处理，即对视频按一定的跳帧的方式提取得到图片集；

12)利用人体姿态估计算法对上述11)中提取的图片集进行人体姿态检测，即通过人体结构关系优化算法连人体关键关节坐标点实现对人体姿态的检测；通过卷积神经网络CNN1对图像进行特征提取生成图像特征图，该神经网络输入的图片为经过预处理的热成像图片；再分别用卷积神经网络CNN2_1和卷积神经网络CNN2_2对图像特征图进行分布式处理，CNN2_1用来检测人体关节坐标区域并通过非极大值抑制算法进行优化得到最优的人体关节坐标点，CNN2_2用来检测人体结构关系区域并通过人体结构关系向量优化算法得到人体结构区域；根据人体关节坐标点和人体结构区域得到目标抽象姿态。

4.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤2)中的单人行为识别网络采用长短期记忆网络，以上述步骤1)中得到的单人空间骨架节点序列以每五帧做为一个帧序列训练样本，并作为作为长短期记忆网络的基本处理单元，该网络将通过提取输入的人体空间骨架信息运动特征、姿态特征来判断是否有跌倒的异常行为。

5.根据权利要求1所述的面向大型多人车厢场景的异常行为分析方法，其特征在于，所述步骤3)中的多人行为识别网络采用卷积神经网络与长短期记忆网络混合模型，首先，将每5帧的人体空间骨架节点序列划分为一组输入到网络中，利用卷积神经网络提取各帧人体空间骨架序列的空间特征，然后将卷积神经网络的输出调整规模依次输入到长短期记忆网络来获取序列的时序特征，并计算各个时刻长短期记忆网络输出的平均值，预测最后的分类结果。