[发明专利]基于多模态融合及隐式交互关系学习的群组行为识别方法

说明书

本发明公开一种基于多模态融合及隐式交互关系学习的群组行为识别方法，首先提取人物静态姿态特征和动态光流特征；进行多模态特征融合，得到既包含光流又包含姿态的特征信息表示；基于融合后的特征向量，进行成员交互关系学习，以选择性的提取对行为识别重要的人物，更好地建模人物之间的关系；然后提取包含背景信息的全局特征信息；最后利用全局视野中的场景级别信息差异性的特征，辅助人物级别特征共同进行群组行为识别。本方案通过提取组群中个体行为，建模推理组群成员之间的交互关系最终达到预测群体行为的目的，识别精度高，在群组行为识别领域具有较高的实际应用价值和推广价值。

技术领域

本发明属于群组行为识别领域，具体涉及一种基于自适应多模态融合及隐式交互关系学习的群组行为识别方法。

背景技术

近年来，视频中的人类行为识别在计算机视觉领域取得了举世瞩目的成就，人体行为识别在现实生活中也得到了广泛应用，如智能视频监控、异常事件检测、体育分析、理解社会行为等，这些应用都使得组群行为识别具有重要的科学实用性和巨大的经济价值。

Sina Mokhtarzadeh Azar等人发表的“A Multi-Stream Convolutional NeuralNetwork Framework for GroupActivity Recognition”(文献1)，该方案提出了一个多流卷积神经网络群体行为识别框架，对于不同的CNN流分别进行不同的训练，最后进行决策级融合预测最终的群体行为。另外“Empowering Relational Network by Self-AttentionAugmented Conditional Random Fields for Group Activity Recognition”(文献2)，以及Hu等人发表的“Deep bilinear learning for rgb-d action recognition”(文献3)也公开了相应的群组行为识别方法。但是，对于文献1所公开的算法框架，虽然结合了多模态的特征表示，丰富了提取的信息，但仅采用后期决策级融合，未考虑特征多模态融合，难免会导致多种模态特征信息冗余的问题；文献2虽然在成员特征提取阶段通过级联方式将姿态、空间位置、外观特征进行了聚合，但这样的简单操作通常具有很少或没有关联参数，无法学习到互补信息的交互以及各模态显著性表示；而文献3虽然将骨架和RGB特征构建张量结构立方体进行多模态融合从而组合人物动作特征，使得各模态特征得以相互补充学习，但却无法避免其庞大的计算量。

近几年，在成员交互关系推理部分，Wu等人发表的“Learning actor relationgraphs for group activity recognition.”，以及Azar等人发表的“Convolutionalrelational machine for group activity recognition.”利用图卷积网络以及图结构等中间表示建立人物关系拓扑图，捕获成员间的外观和位置关系，进行关系推理。上述方法虽然取得了较好的预测结果，但为了提取空间特征，这些显式的建模的方法需要明确的人物位置节点建立拓扑图结构，并且使用卷积神经网络作为基本构建块，并行计算所有输入的隐藏表示和输出位置，关联来自两个任意输入或输出位置的信号，所需的操作数量随着位置之间的距离而增长，其多次重复迭代的特性使得网络计算复杂且庞大。

发明内容

本发明针对现有技术群组行为识别中多模态个体成员特征信息冗余，仅通过级联相加等操作导致的显著信息难以突出问题，为精确识别出组群中每个个体的行为，并利用个体以及他们之间的交互特征推断出组群行为，提出一种基于自适应多模态融合及隐式交互学习的群组行为识别方法。

本发明是采用以下的技术方案实现的：一种基于多模态融合及隐式交互关系学习的群组行为识别方法，包括以下步骤：

步骤A、动静态双流人物特征提取：基于人物级别特征提取模块提取人物静态姿态特征和动态光流特征；