[发明专利]基于全模态的异常行为识别方法

说明书

本发明涉及视觉识别技术领域，尤其是基于全模态的异常行为识别方法；包括收集全模态行为样本，构建异常行为样本库；通过算法构建异常行为特征，自动识别异常行为人员并跟踪其行动轨迹，实时通知各站点相关人员采取相应应对措施，例如及时发现人的异常行为：突然奔跑、摔倒，追打等行为，并提醒管理者。

技术领域

本发明涉及视觉识别技术领域，尤其是基于全模态的异常行为识别方法。

背景技术

异常行为是指人体无规律的非正常行为，如人体的突然奔跑、打架、病倒、徘徊、人员大量聚集等。异常行为识别技术是从采集到的视频序列中检测并识别人员异常行为的一种技术，该技术可以有效的预防暴力袭击、踩踏事件等突发事件的发生，可以为监控人员提供及时的预警信息，有效辅助相关人员实时的对监控场景中出现的异常情况进行判断和采取措施。目前，人体关键点检测领域通常是利用光流法追踪人体关键点，从而从连续帧的视频图像中识别出人体的异常行为。

现有技术仅仅对人体肢体发生大幅度异常时才会触发预警，不容易发现诸如面目狰狞、使用特殊语言等可能即将爆发暴力行为的人员。例如2014年3月1日晚21时20分许，昆明火车站发生暴力恐怖袭击事件，致29人遇难。监控以及目击者显示这些恐怖分子统一着装，砍杀前呼喊一些听不懂的语句。如果能够提前预警，就可以挽救更多无辜的生命。

发明内容

针对现有技术的不足，本发明提供一种基于全模态的异常行为识别方法。

本发明的技术方案为：

基于全模态的异常行为识别方法，其特征在于：它包括以下步骤：

步骤一，收集全模态行为样本，构建异常行为样本库；

步骤二，根据样本数据进行骨架关键点检测及姿态识别：识别出人体的几个关键点，比如头部、肩部、手掌、脚掌；

步骤三，根据样本数据进行动作识别，例如奔跑、摔倒，追打偷窃、聚众斗殴；

步骤四，根据样本数据进行特殊语言识别；如外语(方言)，危险语言等；

步骤五，根据样本数据进行行人属性结构化：比如衣服的颜色、裤子的类型、背包的颜色；

步骤六，通过算法构建异常行为特征，自动识别异常行为人员并跟踪其行动轨迹，实时通知各站点相关人员采取相应应对措施，例如及时发现人的异常行为：突然奔跑、摔倒，追打等行为，并提醒管理者。

进一步地，所述收集全模态行为样本还包括表情。

进一步地，所述表情包括高兴、吃惊、悲伤、愤怒、厌恶和恐惧。

本发明的有益效果为：通过全模态行为样本采集，从语言、表情以及实际行为共同构建出异常行为特征，从而提前预警危险行为，可协助管理人员加强人流管理，甚至可以预警恐怖袭击，减少无辜伤亡。

附图说明

图1为本发明的流程示意图。

具体实施方式

下面结合附图对本发明的具体实施方式作进一步说明：

如图1所示，基于全模态的异常行为识别方法，其特征在于：它包括以下步骤：

步骤一，收集全模态行为样本，构建异常行为样本库；

步骤二，根据样本数据进行骨架关键点检测及姿态识别：识别出人体的几个关键点，比如头部、肩部、手掌、脚掌；

步骤三，根据样本数据进行动作识别，例如奔跑、摔倒，追打偷窃、聚众斗殴；

步骤四，根据样本数据进行特殊语言识别；如外语(方言)，危险语言等；

步骤五，根据样本数据进行行人属性结构化：比如衣服的颜色、裤子的类型、背包的颜色；