[发明专利]一种基于注意力机制的餐厅后厨人员行为识别方法

说明书

本发明公开了一种基于注意力机制的餐厅后厨人员行为识别方法，目的是有效地识别餐厅后厨视频中的人体行为，实现对后厨的监控管理。本发明包括：利用摄像头采集后厨人员的工作视频，构建一个视频包含一个明确动作的数据库，并对其切帧、提取光流图像；将视频帧输入到基于空间注意力机制的空间流网络中，得到空间特征；将光流图像输入到基于长短时记忆网络的时间流网络中，得到时序特征；将空间、时序特征分别输入到分类器中，得到分类得分，进行得分融合，完成后厨人员行为的识别。在本发明中，加入了空间注意力机制，使得模型更加关注空间上更重要的点；长短时记忆网络更好的保留了视频中的时序信息，从而提高了后厨人员行为识别的准确率。

技术领域

本发明涉图像理解与计算机视觉领域，具体涉及一种人体行为识别方法。

背景技术

随着经济与科技的快速发展，视频监控系统的需求不断地增加，如停车场、超市、商场、银行、工厂、矿山、餐厅后厨等地方。挖掘视频中的人体行为信息成为了重大发展方向。

简单来说，行为识别就是对一给定的视频片段进行分类，类别通常是人的各类动作，即检测出人体的行为动作，更好掌握视频中人的行为信息。如今明厨亮灶越来越受大家重视，对餐厅后厨视频中人体行为是否存在违规情况进行检测的需求不断增大，实现实时监控管理，对食品卫生情况也可以有所保障。

现在用于图像分类的卷积神经网络已经达到了很好的效果，但是如果将其直接应用于视频数据上，结果就显得不尽人意了。因为视频相对于图片来说，多了时序信息，因此对于视频数据的处理来说，提取其时序信息是至关重要的。目前基于深度学习的行为识别方法主要有双流网络和3D卷积网络两种，还有部分学者提出了另外一些思路，如受限玻尔兹曼机(Restricted Boltzmann Machines，RBM)，循环神经网络(Recurrent NeuralNetworks，RNN)，独立子空间分析(Independent Subspace Analysis，ISA)等。其中，双流网络由时间流网络和空间流网络组成，分别通过2D卷积来获取视频的时序信息、空间信息，最后融合双流网络分类得分，完成对人体行为的识别；3D卷积网络通过3D卷积可单流完成空间、时序信息的捕捉。还有基于以上两种情况的改进，比如伪3D卷积网络(P3D、R(2+1)D)，还有双流网络和3D卷积网络的结合(I3D)。3D卷积网络相比于2D卷积可以更好的捕捉时空信息，但是他需要昂贵的计算消费和存储需求。

因此，本专利提出了一个针对餐厅后厨视频数据进行人体行为识别的方法，它是比现有2D卷积网络可以更好地捕捉时空特征的双流网络，且不需要像3D卷积网络样需要昂贵的计算消费和存储需求，并应用于后厨视频监控管理中，对餐厅后厨人员进行行为识别，也可以及时发现违规行为，为食品安全带来了更大的保障。

本发明的网络以视频帧与光流图像作为输入，加入了注意力机制和长短时记忆网络，更好的捕获餐厅后厨视频中的时空信息。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度。利用光流图像捕获时许信息的方法是光流法，即通过视频帧在时间域上的变化，以及通过相邻帧之间的相关性来找到当前帧与前一帧之间的对应关系，从而可以计算出相邻帧之间人体行为信息的方法。长短时记忆网络是一种递归神经网络，可以学习长期依赖关系。长短时记忆网络内部主要有三个阶段：忘记阶段、选择记忆阶段和输出阶段。对上一个节点传进来的输入进行选择性忘记，并且将这个阶段的输入有选择性地进行“记忆”，最后决定哪些将会被当成当前状态的输出。通过门控状态来控制传输状态，记住需要长时间记忆的，忘记不重要的信息，从而更好的捕捉到视频中的时序信息。

发明内容

针对上述问题，本发明提出了一种基于注意力机制的人体行为识别方法，在双流网络中引入长短时记忆网络来捕获视频的时序信息，并加入注意力机制来获得更高的人体行为识别精度。

本发明包括以下步骤：

(1)利用摄像头采集后厨人员的工作视频，构建一个视频有一个明确动作的后厨视频数据库，对于视频数据进行预处理，包括视频切帧以及提取光流图像；