[发明专利]基于多模态的行为识别方法

说明书

本发明公开了一种基于多模态的行为识别方法，包括：采用视频采集模块采集目标区域各个位置处的视频监控图像；将视频监控图像通过网络发送给网络交换机；网络交换机将视频监控图像发送给行为分析模块，同时将视频监控图像转成设定格式后发送给分布式文件系统进行存储；行为分析模块将视频监控图像中的干扰信号进行过滤处理，得到已处理视频图像；对已处理视频图像进行人脸特征分析；根据预设行为分析算法自动分析已处理视频图像中的场景是否存在异常行为，如是，将报警信息发送给移动终端中的视频监控APP进行显示；否则，将监控正常的信息发送给视频监控APP进行显示。本发明能大大减轻监控员的负担，同时又能提升整个区域的安全管理能力。

技术领域

本发明涉及行为识别领域，特别涉及一种基于多模态的行为识别方法。

背景技术

行为识别是指通过分析视频、深度传感器等数据，利用特定的算法，对行人的行为进行识别和分析的技术。这项技术被广泛应用在视频分类、人机交互、安防监控等领域。行为识别包含两个研究方向：个体行为识别与群体行为(事件)识别。近年来，深度摄像技术的发展使得人体运动的深度图像序列变得容易获取，结合高精度的骨架估计算法，能够进一步提取人体骨架运动序列。利用这些运动序列信息，行为识别性能得到了很大提升，对智能视频监控、智能交通管理及智慧城市建设等具有重要意义。同时，随着行人智能分析与群体事件感知的需求与日俱增，一系列行为分析与事件识别算法在深度学习技术的推动下应运而生。

随着高等教育事业的不断发展，在校学生数量不断增多，使得学校安全保卫工作面临新的困难与挑战，传统的安全保卫管理模式已经无法胜任。传统安全保卫管理模式给监控员增加了很多负担，不利于提升整个区域的安全管理能力。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种能大大减轻监控员的负担，同时又能提升整个区域的安全管理能力的基于多模态的行为识别方法。

本发明解决其技术问题所采用的技术方案是：构造一种基于多模态的行为识别方法，包括如下步骤：

A)采用视频采集模块采集目标区域各个位置处的视频监控图像；

B)将所述视频监控图像通过网络发送给网络交换机；

C)所述网络交换机将所述视频监控图像发送给行为分析模块，同时将所述视频监控图像转成设定格式后发送给分布式文件系统进行存储；

D)所述行为分析模块将所述视频监控图像中的干扰信号进行过滤处理，得到已处理视频图像；

E)对所述已处理视频图像进行人脸特征分析；

F)根据预设行为分析算法自动分析所述已处理视频图像中的场景是否存在异常行为，如是，执行步骤G)；否则，执行步骤H)；

G)将报警信息发送给移动终端中的视频监控APP进行显示；

H)将监控正常的信息发送给视频监控APP进行显示。

在本发明所述的基于多模态的行为识别方法中，所述预设行为分析算法中包含暴力扭打行为特征和激烈运动行为特征。

在本发明所述的基于多模态的行为识别方法中，所述干扰信号包括场景光影、信号扰动和遮挡物。

在本发明所述的基于多模态的行为识别方法中，所述人脸特征分析基于深度学习算法，能检测所述已处理视频图像中的人脸并进行人脸相关的特征分析。

在本发明所述的基于多模态的行为识别方法中，所述人脸特征分析能进行年龄识别、颜值识别、性别识别和表情识别。

在本发明所述的基于多模态的行为识别方法中，所述年龄识别为判断出所述已处理视频图像中的任务的年龄段。