[发明专利]基于图像增强与3D卷积神经网络的视频行为识别方法

说明书

本发明属于图像处理技术领域，具体涉及基于图像增强和3D卷积神经网络的视频行为识别方法，包括将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片；使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；将两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。本发明能够准确并实时识别出视频中人物的行为，且更加充分的利用图像信息，提高视频中行为识别的准确率。

技术领域

本发明属于多媒体与计算机视觉技术领域，涉及一种基于图像增强与3D卷积神经网络的视频行为识别方法。

背景技术

行为识别是近年来计算机视觉和多媒体领域的研究热点和基石，在安防，人机交互，智能家居和虚拟现实等领域均有广泛的应用前景。在实际情况中，行为识别往往是以实时的视频或监控为载体，提供实时的人物行为的识别检测，这在给人们带来便捷的同时，也对识别的精确度和实时性速率提出了更高的要求。目前，行为识别的难点主要有两个：光流计算复杂导致实时性较差，行为识别的精确度有待提高。

目前，行为识别技术的主流方法有两种，分别是双流法和3D卷积神经网络方法。其中，双流法需要计算复杂的光流信息作为预先训练的数据样本，往往需要长达一天的计算时间和大量的硬盘存储空间，同时还需要提取视频的红R、绿G、蓝B的RGB信息。因此，双流法的计算需求导致不能达成实时性的识别需要。而3D卷积神经网络的方法在直接使用视频的RGB信息进行训练的前提下，往往效果会比双流法差一点。原始的视频所携带的RGB信息在未经处理的情况下，可能会导致无法采集行为识别所需要的部分显著性特征，一些行为实体的细粒度纹理信息不能很好的进行提取利用。

发明内容

有鉴于此，由于输入的视频同时具有时间和空间信息，经过神经网络和计算之后，特征会分别得到不同的增强。因此，同样的原始视频，在经过光流法提取后和直接使用原始视频进行训练的效果是不同的。因此，视频的细节信息和色彩信息对于行为识别技术是极为关键的特征。因而，申请人提供了一种基于图像增强与3D卷积神经网络的视频行为识别方法，图像增强过后的视频可以很好地描述人物实体行为特征，局部色彩特征信息是识别人物动作重要纹理特征；结合图像增强方法和3D卷积神经网络来达到高准确性，实时地实现行为识别。

为达到上述目的，本发明提供如下技术方案：

基于图像增强与3D卷积神经网络视频行为识别方法，包括以下步骤：

S1：将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；

S2：将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；

S3：使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；

S4：将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；

S5：将所得到的两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。

进一步的，步骤S1所述视频或图像预处理，具体包括：

将原始视频序列按照时间顺序切分成帧，即切分为时间上连续分布的图片序列；将切分好的图片序列调整为适合3D卷积神经网络训练的统一图片格式。

进一步的，步骤S2训练特征提取卷积神经网络，具体包括：