[发明专利]一种基于深度3D卷积神经网络进行面部表情识别的方法

说明书

技术领域

本发明涉及表情识别领域，尤其是涉及了一种基于深度3D卷积神经网络进行面部表情识别的方法。

背景技术

面部表情识别是指从给定的静态图像或动态视频序列中分离出特定的表情状态，从而确定被识别对象的心理情绪，实现计算机对人脸表情的理解与识别，从根本上改变人与计算机的关系，从而达到更好的人机交互，是计算机理解人们情感的前提，也是人们探索和理解智能的有效途径。因此人脸表情识别在心理学、智能机器人、智能监控、虚拟现实及数码拍摄等领域有很大的潜在应用价值。具体地，在心理学领域内，通过计算机分析人的表情信息，从而推断人的心理状态，最后达到实现人机之间的智能交互，运用面部表情识别，研究人类心理情绪的变化是现代科技的重大突破。而在智能机器人领域，利用计算机进行人脸表情图像获取、表情图像预处理、表情分析等，促进人机交流，达到一个更高的科技水平。另外，在数码拍摄领域，可根据检测到的笑脸表情自动抓拍照片。虽然目前在表情识方面的研究颇多，但是由于方法的复杂性以及成本考虑，市场上还没有得到普及运用，并且由于人脸表情变化速度较快，部分表情难以捕捉识别，故在提高表情识别率方面，尚且存在一定的挑战。

本发明提出了一种基于深度3D卷积神经网络进行面部表情识别的方法，网络结构由一个3D起始残差网络层(3DIR)和长短期记忆网络组成(LSTM)组成，提取面部图像内的空间关系以及视频中不同帧之间的时间关系，面部标记有助于网络关注特征图中更重要的面部成分，故提取面部标记作为网络的输入，提高序列对面部表情微妙变化的识别能力，从而进行更准确的识别。本发明提出了一种使用3D卷积神经网络和长短期记忆网络来提取视频序列中每帧之间时间关系的方法，并提取面部标志，强调更具表现力的面部成分，提高面部表情微妙变化的识别能力，为智能机器人领域的新设计，以及心理学领域的创新解决方案做了进一步贡献。

发明内容

针对表情识别，提出了一种使用3D卷积神经网络和长短期记忆网络来提取视频序列中每帧之间时间关系的方法，并提取面部标志，提高面部表情微妙变化的识别能力，为智能机器人领域的新设计，以及心理学领域的创新解决方案做了进一步贡献。

为解决上述问题，本发明提供一种基于深度3D卷积神经网络进行面部表情识别的方法，其主要内容包括：

(一)3D起始残差网络；

(二)面部标记；

(三)长短期记忆网络单元。

其中，所述的深度3D卷积神经网络，由一个3D起始残差网络层(3DIR)和长短期记忆网络组成(LSTM)组成，LSTM紧跟在3D起始残差网络层后面，提取面部图像内的空间关系以及视频中不同帧之间的时间关系，面部标记有助于网络关注特征图中更重要的面部成分，故提取面部标记作为网络的输入，提高序列对面部表情微妙变化的识别能力，从而进行更准确的识别。

其中，所述的长短期记忆网络(LSTM)，LSTM提供记忆功能，负责长时间记录上下文信息，包含输入结构(i)，遗忘结构(f)和输出结构(o)，三个结构在时间步长t上分别负责储存单元c的改写，维持和检索，令σ(x)＝(1+exp(-x))^-1为Sigmoid函数，为双曲正切函数，x,h,c,W和b分别为输入，输出，单元状态，参数矩阵和参数向量，

给定输入x_t,h_t-1和c_t-1在时间步t上时，LSTM的更新由等式(1)给出。

进一步地，所述的3D起始残差网络，3D起始残差网络具有更高的识别率，其网络结构为：输入尺寸为10×299×299×3的视频，其中帧数为10，每帧尺寸为299×299，3表示彩色通道，其后是一个吸附层，3DIR包括A、B、C层，通过3DIR-A层，网格尺寸由38×38缩减为18×18，通过3DIR-B网格尺寸由18×18缩减为8×8，由3DIR-C层进行平均池化，最后通过完全连接层输出结果。

进一步地，所述的面部标记，在网络结构中使用面部标记，区别主要面部成分与面部表情较少的其他部分，在面部表情识别中，提取面部标记提高识别率，保留网络中每帧的时间顺序，在端对端网络中同时训练CNN和LSTM，在原始残差网络上，结合面部标记，用剩余单元替换最优路径，使面部标记和剩余单元的输入张量进行元素相乘，为了提取面部标志，采用跨平台计算机视觉库面部识别获取面部包围盒，采用回归局部二进制特征的面部对齐算法，提取66个面部标记点。