[发明专利]一种视频动作分类的处理方法及装置

说明书

本发明实施例提供一种视频动作分类的处理方法及装置，方法包括：读取待识别的视频帧，并提取视频帧的光流图像；选择一帧视频帧作为起始帧，提取起始帧后的连续m帧视频帧x方向和y方向的光流图像，并与起始帧的RGB图像作为一个样本；将每一个样本中的光流图像和起始帧的RGB图像同时输入SCNN和TCNN，以分别获得SCNN和TCNN的最高卷积层计算出的卷积投影；根据卷积投影和多尺度卷积核的融合模块，获取视频动作的时空融合特征投影；将时空融合特征投影依次通过卷积层、最大池化层和全连接层进行计算，并根据计算结果和分类器获得视频动作所属分类。装置执行上述方法。本发明实施例提供的视频动作分类的处理方法及装置，能够提高复杂场景下人物动作的识别准确率。

技术领域

本发明实施例涉及图像识别技术领域，具体涉及一种视频动作分类的处理方法及装置。

背景技术

近些年来，图像识别成为一个热门的研究领域，基于视频帧的动作识别也越来越被关注。

现有的视频人物动作识别方法有很多，比如双流算法、基于人体骨骼的算法，卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。现在，卷积神经网络已经成为众多科学领域的研究热点之一，特别是在模式分类领域，由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图像，因而得到了更为广泛的应用，但是，上述方法对于复杂场景下人物动作识别的准确性和速度都有待提高。

因此，如何提高复杂场景下人物动作的识别准确率，成为亟须解决的问题。

发明内容

针对现有技术存在的问题，本发明实施例提供一种视频动作分类的处理方法及装置。

第一方面，本发明实施例提供一种视频动作分类的处理方法，所述方法包括：

读取待识别的视频帧，并提取所述视频帧的光流图像；

选择一帧视频帧作为起始帧，提取所述起始帧后的连续m帧视频帧x方向和y方向的光流图像，并与所述起始帧的RGB图像作为一个样本；

将每一个样本中的光流图像和起始帧的RGB图像同时输入空间卷积神经网络和时序卷积神经网络，以分别获得所述空间卷积神经网络和所述时序卷积神经网络的最高卷积层计算出的卷积投影；

根据所述卷积投影和多尺度卷积核的融合模块，获取所述视频帧中视频动作的时空融合特征投影；

将所述时空融合特征投影依次通过卷积层、最大池化层和全连接层进行计算，并根据计算出的结果和分类器获得所述时空融合特征投影对应的视频动作的所属分类类别。

第二方面，本发明实施例提供一种视频动作分类的处理装置，所述装置包括：

提取单元，用于读取待识别的视频帧，并提取所述视频帧的光流图像；

选择单元，用于选择一帧视频帧作为起始帧，提取所述起始帧后的连续m帧视频帧x方向和y方向的光流图像，并与所述起始帧的RGB图像作为一个样本；

获得单元，用于将每一个样本中的光流图像和起始帧的RGB图像同时输入空间卷积神经网络和时序卷积神经网络，以分别获得所述空间卷积神经网络和所述时序卷积神经网络的最高卷积层计算出的卷积投影；

获取单元，用于根据所述卷积投影和多尺度卷积核的融合模块，获取所述视频帧中视频动作的时空融合特征投影；

分类单元，用于将所述时空融合特征投影依次通过卷积层、最大池化层和全连接层进行计算，并根据计算出的结果和分类器获得所述时空融合特征投影对应的视频动作的所属分类类别。

第三方面，本发明实施例提供另一种视频动作分类的处理装置，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；