[发明专利]基于深度学习带有旋转信息的人脸表情识别方法

摘要

本发明基于深度学习带有旋转信息的人脸表情识别方法，该方法的步骤是：1)确定人脸表情识别的深度卷积神经网络模型与参数；2)将步骤1)中的深度卷积神经网络模型中的第一个卷积层，即数据输入层后面的Conv1层，改为带有角度信息的卷积层，并将带有角度信息的卷积层命名为NConv层；3)通过图像旋转对FER2013人脸表情数据库进行数据扩充，将扩充后的FER2013人脸表情数据库命名为FER2013II数据库，并对FER2013II数据库进行标签处理；4)使用步骤3)得到的FER2013II数据库对步骤2)处理后的深度卷积神经网络模型进行训练和测试，得到修正后的深度卷积神经网络模型；5)将需要进行识别的人脸表情图片经过预处理后，输入到修正后的深度卷积神经网络模型中，输出人脸表情识别结果。

主权项

1.一种基于深度学习带有旋转信息的人脸表情识别方法，该方法的步骤是：1)确定人脸表情识别的深度卷积神经网络模型与参数；2)将步骤1)中的深度卷积神经网络模型中的第一个卷积层，即数据输入层后面的Conv1层，改为带有角度信息的卷积层，并将带有角度信息的卷积层命名为NConv层；3)通过图像旋转对FER2013人脸表情数据库进行数据扩充，将扩充后的FER2013人脸表情数据库命名为FER2013II数据库，并对FER2013II数据库进行标签处理；4)使用步骤3)得到的FER2013II数据库对步骤2)处理后的深度卷积神经网络模型进行训练和测试，得到修正后的深度卷积神经网络模型；5)将需要进行识别的人脸表情图片经过预处理后，输入到修正后的深度卷积神经网络模型中，输出人脸表情识别结果；所述步骤2)的具体过程是：在步骤1)的深度卷积神经网络模型中的数据输入层中获取图片的所有信息，然后在NConv层中根据获取的图片信息判断旋转角度，这里的旋转角度均是指相对图片正立时顺时针旋转的度数，若旋转角度为0°，则适用于旋转角度为0°的卷积方式，通过式(1)并按照从左到右，从上到下的顺序进行卷积操作；若旋转角度为90°，则适用于旋转角度为90°的卷积方式，通过式(2)并按照从上到下,从右到左的顺序进行卷积操作；若旋转角度为180°，则适用于旋转角度为180°的卷积方式，通过式(3)并按照从右到左,从下到上的顺序进行卷积操作；若旋转角度为270°，则适用于旋转角度为270°的卷积方式，通过式(4)并按照从下到上，从左到右的顺序进行卷积操作；在NConv层中进行卷积操作后，将计算结果输入到下一层，也就是第一个池化层；在上述四个公式中F均代表卷积后生成的特征图；Mwidth表示数据输入层输入的图片矩阵M的大小；Kwidth表示卷积核的大小；m表示人脸表情矩阵按照以行为主的顺序存储的像素值，其下标表示顺序存储的第几个像素值；k表示卷积核以行为主的顺序存储的相应位置的数值，其下标表示卷积核中顺序存储的第几个数值；b₁,b₂,b₃,b₄分别代表四个公式中的偏置。