[发明专利]一种用于视频的基于双向长短时记忆单元的行为识别方法

摘要

本发明公开了一种用于视频的基于双向长短时记忆单元的行为识别方法，包括(1)输入视频序列，提取视频序列中的RBG帧序列和光流图像；(2)分别训练RGB图像深度卷积网络和光流图像深度卷积网络；(3)提取网络的多层特征，其中至少提取第三卷积层、第五卷积层、第七全连接层的特征；对卷积层特征进行和池化；(4)对采用双向长短时记忆单元构建的递归神经网络进行训练，得到视频每帧的概率矩阵；(5)对每个概率矩阵取平均，最后融合光流帧和RGB帧的概率矩阵，取概率最大的类作为最后的分类结果，由此实现行为识别。本发明采用多层深度学习的特征代替传统的人工特征，不同层的深度特征表征了不同的信息，多层特征的组合可以提高分类的准确率；通过采用双向长短时记忆捕获时间信息，获得更多的时域结构信息，提高了行为识别的效果。

主权项

一种用于视频的基于双向长短时记忆单元的行为识别方法，包括以下步骤：(1)输入视频序列，提取所述视频序列中的RBG帧序列和光流图像；(2)训练深度卷积网络：分别训练RGB图像深度卷积网络和光流图像深度卷积网络；(3) 提取网络的多层特征，其中至少提取第三卷积层、第五卷积层、第七全连接层的特征；对全连接层得到一个固定大小的向量；对卷积层特征进行和池化，加入时间信息；(4) 利用从卷积神经网络得到的各层特征向量，对采用双向长短时记忆单元构建的递归神经网络进行训练，并输入测试集利用Softmax得到视频中光流帧每帧的概率矩阵和RGB帧每帧的概率矩阵；(5) 分别对视频中所有光流帧的概率矩阵取平均，对视频中所有RGB帧的概率矩阵取平均，最后融合光流帧和RGB帧的概率矩阵，取概率最大的类作为最后的分类结果，由此实现行为识别。