[发明专利]一种基于正常表情辅助的微表情识别方法有效
| 申请号： | 202010143177.2 | 申请日： | 2020-03-04 |
| 公开（公告）号： | CN111368734B | 公开（公告）日： | 2022-09-06 |
| 发明（设计）人： | 王上飞;夏斌;王伟康;陈恩红 | 申请（专利权）人： | 中国科学技术大学 |
| 主分类号： | G06V40/16 | 分类号： | G06V40/16;G06V10/82;G06N3/04;G06N3/08 |
| 代理公司： | 安徽省合肥新安专利代理有限责任公司 34101 | 代理人： | 陆丽莉;何梅生 |
| 地址： | 230026 安*** | 国省代码： | 安徽;34 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 基于 正常 表情 辅助 识别 方法 | ||
1.一种基于正常表情辅助的微表情识别方法，其特征是按如下步骤进行：
步骤1、构建表情图像数据集：
步骤1.1、从微表情视频中提取出无表情变化的中性面部图片和微表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到微表情数据集Dtr_1，令IN_1和IE_1表示所述微表情数据集Dtr_1中任意同一个人的中性面部图像和微表情面部图像，yE_1是微表情面部图像IE_1相应的微表情的标签；
步骤1.2、从正常表情视频中提取出中性面部图片和正常表情面部图片，并使用图片翻转、图片裁剪以及图片归一化的方法进行预处理，从而得到正常表情数据集DN_2，令IN_2和IE_2是表示所述正常表情数据集DN_2中任意同一个人的中性面部图像和正常表情图像，yE_2是正常表情图像IE_2相应的微表情的标签；
步骤2、构建微表情身份解缠网络F_1，包括微表情编码器E_1，微表情解码器D_1和微表情分类器C_1：
步骤2.1、构建所述编码器E_1，包含一个ResNet18结构与一个双分支结构；
所述ResNet18结构由四个深度残差块组成；
每个深度残差块均依次包含一个卷积核大小为n′×n′的卷积层，两个卷积核大小为n″×n″的卷积层，一个批归一化层和一个ReLU激活函数层；
所述双分支结构的两个支路分别依次包含k个卷积模块和一个非线性函数层；每个卷积模块均包含一个卷积核大小为n″′×n″′的卷积层和一个批归一化层；
步骤2.2、提取微表情相关特征和身份相关特征：
将所述微表情数据集Dtr_1的中性面部图像IN_1输入到编码器E_1，并通过所述双分支结构获得中性面部图像IN_1的特征其中，为中性面部图像IN_1的身份特征，为中性面部图像IN_1的中性表情特征；
同样地，将所述微表情面部图像IE_1输入到所述编码器E_1，并得到微表情面部图像IE_1的特征其中，为微表情面部图像IE_1的身份特征，为微表情面部图像IE_1的微表情特征；
步骤2.3、利用式(1)构建微表情的身份特征相似性损失函数Lsim_1：
步骤2.4、构建所述解码器D_1，依次包含一个非线性函数层，k′个卷积模块，一个上采样层，一个m′×m′卷积层和一个非线性函数层；
所述每个深度残差块均依次包含一个上采样层，一个卷积核大小为m″×m″的卷积层，一个批归一化层和一个非线性函数层；
步骤2.5、重构微表情面部图像：
将所述微表情面部图像IE_1的表情相关特征和中性面部图像IN_1的身份特征拼接后输入到所述解码器D_1中，得到重构的微表情面部图像I′E_1；
步骤2.6、利用式(2)构建微表情面部重建损失函数Lrec_1：
Lrec_1＝||IE_1-I′E_1||2 (2)
步骤2.7、构建所述分类器C_1，并依次包含n个线性层；
将所述微表情面部图像IE_1的表情相关特征输入到所述分类器C1中，得到所述分类器C_1预测微表情面部图像IE_1的表情类别y′E_1；
步骤2.8、利用式(3)构建微表情面部表情分类损失函数Lcls_1：
Lcls_1＝crossentropy{yE_1-y′E_1} (3)
式(3)中，crossentropy{·}表示交叉熵函数；
步骤2.9、利用式(4)构建微表情身份解缠网络的总损失函数Lphase_1：
Lphase_1＝Lcls_1+λ1_1Lsim_1+λ1_2Lrec_1 (4)
式(4)中，λ1_1和λ1_2是所设定的参数；
步骤3、构建正常表情身份解缠网络F_2，且F_2与微表情身份解缠网络F_1有相同的结构，并包括正常表情编码器E_2，解码器D_2和分类器C_2：
步骤3.1、构建与所述编码器E_1结构相同的编码器E_2；
步骤3.2、提取正常表情相关特征和身份相关特征：
将正常表情数据集DN_2的中性面部图像IN_2输入到编码器E_2，并通过相应的双分支结构获得中性面部图像IN_2的特征其中，为中性面部图像IN_2的中性表情特征，为中性面部图像IN_2的身份特征；
同样地，将正常表情面部图像IE_2输入到编码器E_2，并得到正常表情面部图像IE_2的特征其中，为正常表情面部图像IE_2的正常表情特征，为正常表情面部图像IE_2的身份特征；
步骤3.3、利用式(5)构建正常表情的身份特征相似性损失函数Lsim_2：
步骤3.4、构建与所述解码器D_1结构相同的解码器D_2；
步骤3.5、重构正常表情面部图像：
将正常表情面部图像IE_2的表情相关特征和中性面部图像IN_2的身份特征拼接后输入到所述解码器D_2中，得到重构的正常表情面部图像I′E_2；
步骤3.6、利用式(6)构建正常表情面部重建损失函数Lrec_2：
Lrec_2＝||IE_2-I′E_2||2 (6)
步骤3.7、构建与所述分类器C_1结构相同的分类器C_2；
将正常表情面部图像IE_2的表情相关特征输入到分类器C_2中，得到分类器C_2预测正常表情面部图像IE_2的表情类别y′E_2；
步骤3.8、利用式(7)构建正常表情面部表情分类损失函数Lcls_2：
Lcls_2＝crossentropy{yE_2-y′E_2} (7)
步骤3.9、利用式(8)构建正常表情身份解缠网络的总损失函数Lphase_2：
Lphase_2＝Lcls_2+λ2_1Lsim_2+λ2_2Lrec_2 (8)
式(8)中，λ2_1和λ2_2是所设定的参数；
步骤4、从所述微表情数据集Dtr_1和正常表情数据集DN_2中构建出联合训练图像数据集Dun_3，令所述联合训练图像数据集Dun_3中的Ianc和Ineg是从所述微表情数据集Dtr_1中随机挑选出的不同类别的微表情图像，令所述联合训练图像数据集Dun_3中的Ipos是从所述正常表情数据集DN_2中随机挑选出的且和微表情图像Ianc是同类别的正常表情图像，yanc是微表情图像Ianc对应的类别标签；
步骤5、正常表情身份解缠网络F_2与微表情身份解缠网络F_1的联合训练：
步骤5.1、固定住正常表情身份解缠网络F_2的网络参数，辅助微表情身份解缠网络F_1进行微调训练；
步骤5.2、利用式(9)构建三元组损失函数Ltri：
式(9)中，m是设定的超参数；是将微表情图像Ianc和Ineg分别输入到微表情身份解缠网络F_1所得到的对应的表情特征，是将正常表情图像Ipos输入到正常表情身份解缠网络F_2所得到的对应的表情特征；
步骤5.3、构建对抗学习模块：
步骤5.3.1、在微表情身份解缠网络F_1和正常表情身份解缠网络F_2之间添加对抗学习模块，所述对抗学习模块是由判别器和生成器组成；
所述生成器是由微表情身份解缠网络F_1组成；
所述判别器依次包含n″个卷积模块，一个平均池化层和一个线性函数层；
所述每个卷积模块均依次包含一个卷积核大小为w×w的卷积层，一个批归一化层和一个非线性函数层；
分别将微表情图像Ianc的表情特征和正常表情图像Ipos的表情特征输入所述判别器中，并输出相应的表情特征属于正常表情的概率Panc和表情特征属于正常表情的概率Ppos；
步骤5.3.2、利用式(10)构建对抗学习模块的损失函数Ladv：
Ladv＝-log Panc (10)
步骤5.4、将微表情面部图像Ianc的表情特征输入到微表情身份解缠网络F_1中的分类器C_1中，得到分类器C_1预测微表情面部图像Ianc的表情类别y′anc；
利用式(11)构建微表情身份解缠网络F_1的分类损失函数Lcls_anc：
Lcls_anc＝crossentropy{yanc-y′anc} (11)
步骤5.5、将正常表情面部图像Ipos的表情特征输入到特征F_2中的分类器C_2中，得到分类器C_2预测正常表情面部图像Ipos的表情类别y′pos；
利用式(12)构建正常表情面部图像F_2的分类损失函数Lcls_pos：
Lcls_pos＝crossentropy{yanc-y′pos} (12)
步骤5.6、利用式(13)构建不等式正则化损失函数LLIR：
LLIR＝max{Lcls_pos-Lcls_anc,0} (13)
步骤5.7、利用式(14)构建微表情身份解缠网络F_1和正常表情身份解缠网络F_2联合训练的总损失函数Lphase_3：
Lphase_3＝Lcls_anc+λ3_1Ltri+λ3_2Ladv+λ3_3LLIR (14)
式(14)中，λ3_1,λ3_2和λ3_3是人为设定的参数；
步骤5.8、利用梯度下降法对所述总损失函数Lphase_3中的微表情身份解缠网络F_1参数进行优化求解，从而得到最优微表情身份解缠网络并用于微表情识别。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学技术大学，未经中国科学技术大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/202010143177.2/1.html，转载请声明来源钻瓜专利网。
