[发明专利]一种自发微表情识别方法

权利要求书

1.一种自发微表情识别方法，其特征在于，包括：

构建孪生三维卷积神经网络，对其进行两阶段的训练：第一阶段训练为先验学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集通过类别标签异同划分得到的若干微表情样本对，通过孪生三维卷积神经网络来判断微表情样本对是否为同类的微表情，从而反向更新孪生三维卷积神经网络的参数；第二阶段训练为目标学习阶段，孪生三维卷积神经网络的输入为预处理后的原始数据集，通过第一阶段训练后的孪生三维卷积神经网络对输入微表情样本进行分类，固定孪生三维卷积神经网络前端特征提取层中靠前的若干卷积单元的参数，更新特征提取层其余卷积单元以及末端推理层的参数；其中，预处理后的原始数据集中的每一微表情样本均为用于描述自发微表情的光流图像帧序列；

之后，通过训练得到的孪生三维卷积神经网络对待识别的微表情样本进行分类。

2.根据权利要求1所述的一种自发微表情识别方法，其特征在于，所述孪生三维卷积神经网络包括两个结构完全相同的子网络，两个子网络的参数是完全共享的；每一个子网络包括：前端的特征提取层、以及末端的推理层；

第一阶段训练中，微表情样本对中的微表情样本各自输入至一个子网络；第二阶段训练中，任选一个子网络进行训练；最终保留第二阶段训练后的子网络对待识别的微表情样本进行分类。

3.根据权利要求2所述的一种自发微表情识别方法，其特征在于，

所述特征提取层包括多个卷积单元，每一卷积单元包含依次设置的三维卷积层与最大池化层；

所述推理层包括：依次设置的拉伸层、全连接层、相似度度量层和分类输出层；分类输出层包含了Sigmoid与Softmax两类激活函数，分别用于第一阶段训练的输出与第二阶段训练的输出，两个子网络共用同一个相似度度量层和分类输出层。

4.根据权利要求1所述的一种自发微表情识别方法，其特征在于，第一阶段训练时，将单次输入的微表情样本对记为[I₁,I₂]，经过特征提取层后，将微表情样本对的特征向量[F₁,F₂]，通过推理层度量两个特征向量的L1距离并映射到[0,1]空间，得到微表情样本对是否为同一类微表情的概率P(I₁,I₂)：

其中，D是特征向量F₁和F₂的维度，F₁＝[f₁₁,f₁₂,…,f_1D]，F₂＝[f₂₁,f₂₂,…,f_2D]；

根据概率P(I₁,I₂)与微表情样本对是否为同类的真实标签，利用神经网络反向传播算法更新孪生三维卷积神经网络的参数。

5.根据权利要求3所述的一种自发微表情识别方法，其特征在于，第二阶段训练时，对于输入微表情样本，通过孪生三维卷积神经网络预测其属于第k类的概率：

其中，P(y＝k|v_i)表示v_i属于第k类的概率；v_i是特征提取层输出的微表情样本特征再经过全连接层之后得到的输出V中的元素，且V＝[v₁,v₂,…,v_n]，n为元素数目；K为总类别数，K＝n。

6.根据权利要求1或5所述的一种自发微表情识别方法，其特征在于，第二阶段训练时，使用Focal loss作为目标分类损失函数，表示为：

其中，y表示输入微表情样本的真实类别标签，y＝(y₁、y₂,…,y_K)，真实类别对应的值为1，其余值为0；表示孪生三维卷积神经网络预测的输入微表情样本属于各类的概率，K为总类别数；a_i和γ均为超参数。