[发明专利]一种基于多特征多任务字典稀疏迁移学习的微表情识别方法

权利要求书

1.一种基于多特征多任务宏表情字典稀疏迁移学习的微表情识别方法，其特征在于，包括训练阶段、测试阶段；

A、训练阶段，包括步骤如下：

(1)对微表情域中每个图片平均分成若干分块；

(2)对宏表情域和微表情域提取最具代表性的特征；对于宏表情域，提取的最具代表性的特征是LBP特征；对于微表情域中的每个分块，提取的最具代表性的特征包括光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

(3)对步骤(2)提取的特征进行降维；

(4)对步骤(3)处理后的特征进行分组，将宏表情域中的特征均分为宏表情域测试集、宏表情域训练集，将微表情域中的特征均分为微表情域测试集、微表情域训练集；

(5)将宏表情域训练集和微表情域训练集的数据投影到一个公共空间，在该公共空间中设定宏表情域的稀疏字典与微表情域的稀疏字典；将设定微表情域的稀疏字典用设定宏表情稀疏字典进行线性重构，通过计算获得宏表情域的稀疏字典、微表情域的稀疏字典、宏表情域的投影矩阵、微表情域的投影矩阵、微表情域的重构矩阵、宏表情域的稀疏系数表示矩阵，微表情域的稀疏系数表示矩阵；

B、测试阶段，包括步骤如下：

(6)对于给定宏表情域测试集、微表情域测试集，分别通过步骤(5)得到宏表情域的投影矩阵、微表情域的投影矩阵，对宏表情数据集和微表情数据集投影到公共空间；

(7)利用通过步骤(5)得到的宏表情域的稀疏字典、微表情域的稀疏字典，分别对投影到公共空间的宏表情域测试集、微表情域测试集进行线性重构，得到宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵；

(8)通过机器识别经典算法K近邻分类器(KNN)对步骤(7)得到的宏表情域测试集的稀疏系数表示矩阵、微表情域测试集的稀疏系数表示矩阵进行分类识别；

所述步骤(2)，对宏表情域和微表情域提取最具代表性的特征，包括：

a、对宏表情域和微表情域进行特征提取，对于宏表情域，提取的特征n_x是指宏表情域的样本个数；是指宏表情域中n_x个样本提取的LBP特征，R是指矩阵X的大小；m_x是指宏表情域的特征维数；对于微表情域，提取的特征n_y是指微表情域的样本个数；

Y¹、Y²、Y³、Y⁴分别是指是指微表情域中n_y个样本提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；m_y是指微表情域的特征维数；

表示微表情域的一种特征集，i＝1,2,3,4，是指微表情域中n_y个样本提取的对应特征；m_y是指微表情域的特征维数；

所述步骤(5)，包括：

A、初始化宏表情域训练集的投影矩阵、微表情域训练集的投影矩阵W_X,W_Y，将宏表情域训练集、微表情域训练集投影到公共空间内，对于微表情域训练集，引入了F范数对特征组合进行选择，对于微表情域训练集其投影矩阵对于微表情域训练集的投影满足式(I)：

式(I)中，

将式(I)简化为式(Ⅱ)：

式(Ⅱ)中，D_Y是指微表情域训练集Y的稀疏字典，S_Y是指该稀疏字典下的稀疏系数表示矩阵；

B、对微表情域训练集Y的稀疏字典进行线性重构，如式(Ⅲ)所示：

D_Y＝D_XV_Y (Ⅲ)

基于多特征宏表情字典稀疏的微表情识别方法的形式，目标函数如式(Ⅳ)所示：

式(Ⅳ)中，

τ＝0.001，σ＝0.001；S_X是指宏表情域训练集的稀疏系数表示矩阵；

d代表宏表情域训练集、微表情域训练集投影到公共空间的投影维度；分别是指宏表情域训练集、微表情域训练集的单位矩阵；

C、设定对微表情域中每个图片平均分成k个分块，在第k个分块内，如式(Ⅴ)所示：

式(Ⅴ)中，Y^(k)是指第k个分块的特征；、(Y¹)^(k)、(Y²)^(k)、(Y³)^(k)、(Y⁴)^(k)分别是指微表情域中第k个分块提取的光流特征、LBP-TOP特征、VLBP特征、LOCP-TOP特征；

第k个分块目标函数J^(k)如式(VI)所示：

D、对每个分块求解后，给每一分块求解结果赋予权重，如式(Ⅶ)所示：

式(Ⅶ)中，e^k是指第k个分块的稀疏表达误差；是指控制函数的衰减程度；

第k个分块的权重比例P_K如式(Ⅷ)所示：

引入多任务后，整体目标函数如式(Ⅸ)所示：

式(Ⅸ)中，

E、对于上述整体目标函数，采用变量交替优化的策略，多次迭代达到最优效果。