[发明专利]一种结合多级卷积特征金字塔的人脸表情识别算法

权利要求书

1.一种结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，包括如下步骤：

将原始人脸表情图片输入到第一特征提取网络进行特征提取，并提取全局特征；

将经过裁剪、放大的人脸表情图片输入到第二特征提取网络进行特征提取，并提取局部特征；

在第一特征提取网络和第二特征提取网络中构建特征金字塔网络；

利用注意力区域定位网络对到第二特征提取网络中的局部特征进行区域定位；

利用特征融合网络对人脸表情图片的全局特征与局部特征进行融合，并通过全连接层对人脸表情图片进行分类。

2.如权利要求1所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

第二级特征提取网络的输入样本是经过第一级特征提取网络中输入样本图片进行裁剪和放大得到。

3.如权利要求1所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

第一级特征提取网络和第二级特征提取网络均是一种全卷积结构网络。

4.如权利要求3所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

在提取全局特征和提取局部特征中的第一层卷积层均使用大小为3*3的卷积核。

5.如权利要求4所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

原始人脸表情图片输入第一级特征特征提取网络，通过卷积神经网络提取人脸表情图片的特征，然后输出类别和每一类的概率值，所述每一类别的概率值的获得方法为：

C⁽ⁱ⁾＝f(W_i⊙X_i)

p⁽ⁱ⁾＝f(W_i⊙X_i)

其中，输入人脸表情图片为X，X_i和W_i表示第i级卷积神经网络的输入和权重参数，⊙表示在卷积过程中进行的卷积、池化、激活或归一化操作，f(·)表示特征提取网络，C⁽ⁱ⁾(i＝1,2)表示第i级卷积神经网络的输出类别标签，p⁽ⁱ⁾(i＝1,2)表示第i级卷积神经网络对于输出每一类别的概率值。

6.如权利要求5所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

每一级网络都会生成关于输入人脸表情图片的特征图，用表示每一级网络生成特征图的集合，m表示该模型包含的网络级数，其中m＝(1,2)，n表示每一级网络最后输出的特征图的个数，输入图像X表示为：

7.如权利要求6所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

卷积神经网络中浅层卷积层产生的特征图尺度大，卷积神经网络的深处卷积层产生的特征图尺度小，将后一层的卷积层产生的特征图进行转置卷积操作，然后再将两张特征图相加，统一特征图的尺度。

8.如权利要求7所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

注意力区域定位网络将输入的特征图映射为以(D_x,D_y)为中心、D_α为边长的正方形注意力区域，然后将注意力区域映射到原始人脸表情图片，再对其通过裁剪、放大后送入到下一级网络。

9.如权利要求8所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

第二特征提取网络在对人脸表情进行识别提取中，可自动将人脸表情的显著性区域进行激活，首先必须对特征图中响应最大的区域实现精准定位，然后将这些精准定位的区域映射到原始人脸表情图片中，得到原始人脸表情的重要的局部区域，对局部区域进行特征提取实现图片的局部区域识别。

10.如权利要求9所述的结合多级卷积特征金字塔的人脸表情识别算法，其特征在于，

在初始化时将由第一级特征提取网络最后一层产生的特征图全部相加在一起，然后将相加后的的特征图中数值较大的区域定位出来，将定位的区域拟合为一个正方形，然后获取正方形的中心坐标以及正方形边长，并将其设置为注意力网络的初始化参数，表达为：

其中，f表示第一特征提取网络最后一层卷积层产生的特征图，d表示该网络产生的总的特征图数量，F为将每一张特征图的对应的每一个点相加后的总的特征图，h和w表示特征图的高和宽，p表示总的特征图的像素均值。