[发明专利]一种基于多特征融合的视频行为识别方法

说明书

本发明属于图像识别技术领域，涉及一种基于多特征融合的视频行为识别方法，通过将采集的视频信息从多个视角进行处理，对视频信息进行图像帧采样，进行人物的骨骼点信息提取，获得视频中人物行为的关键点热度图信息，人物的前景语义分割信息，并与RGB信息进行融合，从而提高视频行为识别的准确率。本发明同端到端的处理RGB视频信息进行行为识别的方法比较，通过提取的骨骼点信息可以更多的关注人物的动作信息，通过语义分割网络，获取场景中的前景信息，屏蔽无关的背景干扰，通过这三者的融合进行特征的互补，提高行为识别的准确率。

技术领域

本发明属于图像识别技术领域，涉及一种基于多特征融合的视频行为识别方法。

背景技术

行为识别是视频理解中的一个重要任务，在视频推荐系统，人机交互，游戏娱乐等领域有重要的应用。

为了更好的理解行为识别，需要从多个角度对视频中的信息进行分析。目前人们常采集RGB信息，通过端到端的方法对视频中的行为进行分类。

随着传感器和多种信息提取算法的出现，人们可以从多个视角来提取对特定人物有用的信息。目前多特征融合的行为识别方法，如通过提取光流信息和图像空间信息，对动作和外形信息进行融合，如slowfast，通过两个支路，提取空间和时间的信息进行融合。视频中的人体骨骼信息，常常作为简单行为识别的特征描述。语义分割信息，可以用以区分前景和背景信息，屏蔽无效的背景信息。

基于上述有效信息，本发明针对单一特征表达能力有限的问题，通过提取多个视角的特征，进行互补性的融合操作，对识别效果进行增强，视频中的行为，人物和场景信息对行为识别而言，都是重要的线索。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出一种基于多特征融合的视频行为识别方法，其具体技术方案如下：

一种基于多特征融合的视频行为识别方法，包括如下步骤：

步骤一，对视频序列进行图像帧采样，得到原始的RGB图像序列，后送入3DCNN网络进行特征提取，获取特征后通过全连接进行全连接维度变换生成；

步骤二，对原始的RGB图像序列进行 skeleton提取，获取关键点热度图视频序列，后送入3DCNN网络中进行特征提取，获取特征后通过全连接进行全连接变换生成；

步骤三，对原始的RGB图像序列进行语义分割，获取语义分割热度图序列，将语义分割热度图序列跟对应的原始的RGB图像序列进行与操作，生成前景分割图像序列，再将送入3DCNN网络中进行特征提取，获取特征后通过全连接进行全连接维度变换生成；

步骤四，将、、通过全连接，进行全连接维度变换后融合，进行分类操作。

进一步的，所述3DCNN网络包括8个3*3*3卷积层，5个池化层，2个全连接层，和1个softmax分类层。

进一步的，所述原始的RGB图像序列的大小为T×3×H×W，其中T为视频采样的帧数，3为图像的通道数，H为图像高度，W为图像宽度；其中的，，是进行展平之后的一维特征向量。

进一步的，所述步骤二，具体包括：

步骤201,将原始的RGB图像序列送入用于处理二维图像的人体关键点检测网络OpenPose网络中进行处理，输出骨骼点和骨骼点之间的关系生成骨骼图序列，即关键点热度图视频序列；

步骤202，将骨骼图序列送入 3DCNN中进行特征提取，获取特征，然后通过全连接进行全连接维度变换生成。

进一步的，所述OpenPose网络，首先检测属于图像中每个人骨骼点，输出表征关键点置信度的关键点热度图和关键点对应的连接关系的关键点亲和力图，通过关键点亲和力图将关键点进行分组，指定给不同的个体，然后对属于同一个个体的关键点进行连接，生成关键点连接图。