[发明专利]一种基于递归神经网络的群体动作识别方法

说明书

本发明提供了一种群体动作识别方法，包括以下步骤：在每一时刻，提取个体的CNN特征，作为其静态特征表示；利用一个长短期记忆模型从个体的静态表示中对个体动态进行建模；对Long Motion的建模；对个体间交互动态的建模；对Flash Motion的建模。

技术领域

本发明提供了一种计算机视觉和多媒体技术，特别是一种基于递归神经网络的群体动作识别方法。

背景技术

动作识别旨在使计算机能够理解出现在视频片段中动作，其在计算机视觉和多媒体领域受到了越来越多的关注。根据动作参与者的人数，人类活动可大致分为三类:单人动作，交互动作和群体动作。以前的大量工作更加注重单人动作识别的研究，并取得了良好的进展。除单人动作之外，真实场景中往往包含更多的交互动作(例如，“握手”)和群体动作(例如，“排队”，“过马路”)。在交互动作的场景中，至少有两个人同时在互动。在群体动作的场景中，活动描述了一个更复杂的场景/事件，涉及到单个人的行为和各种其他的交互作用(例如group-person和group-group交互)。一般来说，与单人动作识别和交互动作识别相比，群体活动识别是一项更具挑战性的任务。

发明内容

本发明的目的在于提供一种基于递归神经网络的群体动作识别方法，包括以下步骤：

步骤1，输入待检测的视频片段，取其中间T帧，并检测每帧中所有运动个体；

步骤2，在每一个时刻，用卷积神经网络提取所有运动个体的空间特征；

步骤3，建立Single-Person LSTM模型，将个体空间特征提供给Single-PersonLSTM模型以捕捉个体时间动态特征；

步骤4，根据个体在整个活动过程中移动时间的顺序，将所有个体的时空特征输送到Interaction Bi-LSTM中以捕获上下文信息；

步骤5，将Interaction Bi-LSTM中的所有隐藏状态赋以动态权值，最终集成至一个Aggregation LSTM中，并将多组的聚合状态连接成对应时刻softmax层的输入；

步骤6，对所有时刻下的softmax分数取平均值作为群体活动识别的最终预测概率向量。

本发明与现有技术相比，具有以下优点：本发明探索了一个新的“One to Key”的概念，逐步地将每个关键角色的时空特征以不同程度进行整合。本发明关注的是两种类型的关键角色，一种是在整个过程中稳定地移动(很长的移动时间)，另一种是发生在某个瞬间的剧烈移动(但与团体动作密切相关)。在此基础上，提出了一种新的参与式时间动态模型(PC-TDM)来识别群体动作，主要由一个“One”网络和一个“One to Key”网络组成。具体来说，“One”网络的目标是对个体动态建模。“One to Key”网络将“One”网络的输出按照个体移动时长依次输入到双向LSTM(Bi-LSTM)中。随后，Bi-LSTM的每个输出状态被赋以权重并进行了聚合。实验结果表明，该方法能显著地提高了群体动作识别性能。

下面结合说明书附图对本发明作进一步描述。

附图说明

图1是本发明的框架图。

图2是Long Motion的捕捉示意图。

图3是Flash Motion的捕捉示意图。

图4是本发明方法流程示意图。

具体实施方式

一种基于递归神经网络的群体动作识别框架，包括“One”Network(个体时空网络)和“One to Key”Network(关键参与者时间网络)两个子网络。

1、“One”网络：个体时空网络