[发明专利]基于视频进行动作识别的方法及系统

说明书

本公开涉及基于视频进行动作识别的方法，包括：基于所述视频包括的连续帧的数据，使用核互相关器来计算每一帧中跟踪目标的位置；以及基于每一帧的数据以及每一帧中跟踪目标的位置，使用长短期记忆模型LSTM对视频中的运动特征进行计算。本公开还涉及基于视频进行动作识别的系统和存储介质。

技术领域

本公开涉及基于视频进行动作识别的方法及系统。

背景技术

近年来，人体动作识别由于其在自动视频分析、视频监控、体育赛事分析和虚拟现实等方面的潜在应用备受关注。物联网(IoT)上多媒体设备的激增产生了前所未有的数据量，大量的视频数据对人的行为识别提出了越来越高的要求，虽然静态图像分类取得了巨大成功，但人类动作识别在电影、体育视频和日常生活消费视频等现实视频中仍然是一个问题，该问题是由动作视频的一些固有特征引起的，例如类内变化、遮挡、视点变化、背景噪声、运动速度和人员差异等。

随着深度神经网络在图像识别领域的显著成功，人体动作识别已成为深度网络在计算机视觉领域的第二大应用。有大量发表的研究使用各种深度神经网络来提高视频中动作识别的准确性。经典的双流深度动作识别网络通常由一个空间流和一个时间流组成，如图1所示。空间流提取外观特征，时间流利用光流估计器提取运动信息，每个流都使用一个深层的卷积网络与一个softmax分类器连接，最终将两个流的分类结果进行融合。这种双流识别模型是基于生物灵感，即人类大脑中有两种不同的视觉记忆模块，分别负责分析静态图像和运动信息。然而这种方法忽视了参与运动视觉分析的大脑区域也参与处理静态图像中隐含的动态信息；另外，这些识别方法都有一个共同的缺点：需要额外的在学习过程中手工提取动作特征信息，这些额外的信息具有较高的计算复杂性，在应用于实时问题和大规模视频数据时面临局限性。

发明内容

在下文中给出了关于本公开的简要概述，以便提供关于本公开的一些方面的基本理解。但是，应当理解，这个概述并不是关于本公开的穷举性概述。它并不是意图用来确定本公开的关键性部分或重要部分，也不是意图用来限定本公开的范围。其目的仅仅是以简化的形式给出关于本公开的某些概念，以此作为稍后给出的更详细描述的前序。

根据本公开的第一方面，提供一种基于视频进行动作识别的方法，包括：基于所述视频包括的连续帧的数据，使用核互相关器来计算每一帧中跟踪目标的位置；以及基于每一帧的数据以及每一帧中跟踪目标的位置，使用长短期记忆模型LSTM对视频中的运动特征进行计算。

根据本公开的第二方面，提供一种基于视频进行动作识别的系统，包括：空间特征提取模块，被配置为对所述视频包括的各个帧进行处理，以得到每一帧的特征图；运动流估计模块，被配置为基于连续帧的特征图，使用核互相关器来计算每一帧中跟踪目标的位置；运动特征估计模块，被配置为基于每一帧的特征图以及每一帧中跟踪目标的位置，使用长短期记忆模型LSTM对视频中的运动特征进行计算；以及动作分类模块，被配置为使用softmax分类器对计算的运动特征进行动作分类。

根据本公开的第三方面，提供一种基于视频进行动作识别的系统，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在所述存储器上的指令，以执行根据本公开的上述方面所述的方法。

根据本公开的第四方面，提供一种计算机可读存储介质，其包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据本公开的上述方面所述的方法。

针对目前双流识别模型存在的独立提取空间和时间信息以及需要额外手工提取特征等问题，本公开提出了一种整合运动感知长短时记忆模块的时空视频识别网络，长短时记忆模块主要用于同时进行运动估计和时空特征提取，运动估计是基于核化互相关方法，不需要预先估计光流网络来理解视频中的时间行为。由于该网络采用端到端方式设计，因此不需要任何手工特征提取模块。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。