[发明专利]一种基于双分支干扰分离网络的人脸表情识别方法

权利要求书

1.一种基于双分支干扰分离网络的人脸表情识别方法，其特征在于包括以下步骤：

1)收集人脸表情识别数据集，并划分为训练集和测试集，然后进行图像预处理；

2)预训练骨干网络，提取共享特征，再分别送入干扰分支和表情分支；

3)将干扰分支细化成两个子分支，对不同类型的干扰因素进行特征提取；

将干扰分支细化成标签感知子分支和无标签子分支；在标签感知子分支中利用常见干扰因素的标签信息作为辅助，学习常见干扰特征；在无标签子分支中，对没有标签信息辅助学习的潜在干扰因素，用无监督的方式学习潜在干扰特征；

4)在干扰分支的标签感知子分支中，利用迁移学习的方式提取常见干扰特征；

引入含有M种常见干扰因素标签的辅助数据集，预训练一个参考干扰特征提取网络，输出参考干扰特征；然后将步骤2)中得到的共享特征送入干扰分支中的标签感知子分支，提取常见干扰特征；最小化常见干扰特征与参考干扰特征的差异性，让常见干扰特征与参考干扰特征尽可能地相像，使辅助数据集中常见干扰因素的先验知识能够迁移到标签感知子分支中，缓解训练样本缺少常见干扰因素标签的困难；

5)在干扰分支的无标签子分支中，利用印度自助餐过程的理论模拟潜在干扰特征的分布，学习潜在干扰特征；

所述利用印度自助餐过程的理论模拟潜在干扰特征的分布，学习潜在干扰特征，进一步包含以下子步骤：

5.1假设在N张图像中一共有K种潜在干扰因素，用一个存在矩阵D∈{0,1}^N×K来表示潜在干扰因素在图像中存在的情况，1表示存在，0表示不存在；引入印度自助餐过程的理论来学习存在矩阵，假设第k种潜在干扰因素出现的概率为π_k，D中的第k列元素值服从概率为π_k的伯努利分布，π_k的计算如下：

其中，v_j来自一组服从贝塔分布的随机向量v，其先验概率密度如下：

p(v_j)＝Beta(α,1)

其中，Beta(·)表示贝塔函数，α为其参数；

存在矩阵中关于第i张图像的行向量D_i的先验概率密度为：

5.2假设一个权重矩阵对第i张图像，权重行向量W_i的先验概率密度服从均值为0，方差为1的标准高斯分布，由下式表示：

其中，表示高斯分布，表示单位矩阵；

5.3将步骤2)中提取的共享特征送入干扰分支中的无标签子分支，对第i张图像输出均值方差和噪声在后验估计中，分别用Kumaraswamy分布和Concrete分布来近似估计贝塔分布和伯努利分布；随机向量v的后验概率密度计算如下：

q(v_j|a_j,b_j)＝Kumaraswamy(a_j,b_j)

其中，a_j和b_j是网络中的学习参数；

D_i的后验概率密度为：

其中，π＝[π₁,π₂,…,π_K]，λ_q是温度参数；

5.4根据均值μ_i和方差进行高斯采样得到权重向量W_i，所有图像的权重向量构成权重矩阵W；此时，W_i的后验概率密度计算如下：

5.5对v、D和W分别最小化它们各自后验概率密度和先验概率密度之间的差异，约束网络的无标签分支学到近似先验假设的分布，以实现D和W的准确采样；

5.6通过采样得到D和W，最后学到的潜在干扰特征表示为：

f^u＝D⊙W

其中，⊙表示点乘；

6)将步骤4)和步骤5)得到的干扰特征，分别送入相应的对抗分类器中进行对抗学习，扩大两类干扰特征与表情特征的差异性；

分别用两个对抗分类器与标签感知子分支和无标签子分支进行对抗训练；以无标签子分支为例，先将潜在干扰特征送入对抗分类器中，与表情标签计算交叉熵损失，更新对抗分类器的参数，使它能正确预测表情类别；再固定对抗分类器，将潜在干扰特征送入对抗分类器中，最大化分类器输出的熵，更新无标签子分支的参数，目的是使生成的干扰特征无法让对抗分类器正确预测表情标签，从而与表情特征得以区分；标签感知子分支的对抗训练与无标签子分支类似；

7)将步骤2)中所得到的共享特征送入表情分支提取表情特征，对表情特征进行分类，得到最后的分类结果，预测所属类别。