[发明专利]多类别面部表情高精度识别方法

摘要

本发明涉及一种基于Haar-like特征的多类别面部表情高精度识别方法，属于计算机科学与图形图像处理技术领域。本发明首先使用Haar-like特征和串联人脸检测分类器实现高准确性的人脸检测；进而利用AdaBoost.MH算法对高维Haar-like特征进行特征筛选；最终使用随机森林算法进行表情分类器训练，以完成表情识别。与现有技术相比，本发明在进一步提升多种类别表情识别率的同时，大大减少训练和识别的时间开销，并可方便地实现并行化，以进一步提高识别效率、满足实时处理及移动计算的需求。本发明可对静态图像和动态视频进行高精度识别；不仅适用于桌面计算机，也适用于手机、平板电脑等移动计算平台。

主权项

1.多类别面部表情高精度识别方法，其特征在于：包括如下步骤：步骤1，使用多张面部区域图像作为正样本、多张非面部区域图像作为负样本进行离线训练，得到面部识别分类器；步骤2，在步骤1的基础上，进行面部表情分类器的离线训练；具体过程如下：步骤2.1，对面部图像训练数据进行表情标注，具体方法为：收集各种待识别表情类别的图片或视频的关键帧，形成训练图像集A，其中包含的图像数目为m；使用连续的整数编号作为各张图片或关键帧的类别标签，形成表情类别标签集Y={1,2，...,k}，其中k为待识别的表情类别数；步骤2.2，对经步骤2.1标注后的每幅训练图像进行面部区域数据提取，得到剪裁出的面部图像，形成训练图像集B；步骤2.3，为了训练表情分类器，对步骤2.2所形成的训练图像集B中的每幅图像进行Haar-like特征的二次提取，Haar-like特征提取的具体方法为：计算每一幅剪裁出的图像的积分图，根据各个积分图计算相对应的H维Haar-like特征值；将每幅图像相应的H维Haar-like特征向量记作一行，使所有m幅图像的全部H维Haar-like特征向量构成一个m行、H列的特征矩阵X；步骤2.4，使用AdaBoost.MH算法，对步骤2.3得到的Haar-like特征矩阵X进行特征筛选；具体过程为：步骤2.4.1，初始化每幅图像对应的权重，记作D₁(i，y_i)=1/(mk)，y_i∈Y表示第i个图像的表情类别标签，i＝1…m；步骤2.4.2，开始第f轮迭代，f＝1…F：依次将特征矩阵X的各列数据作为一个弱分类器的输入，进行H次运算，得到r_f，j：rf,j=Σi=1mDf(i,yi)K[li]hj(xi,j,yi),]]>其中，j=1…H，x_i，j表示X的第i行中的第j个元素；h_j(x_i，j，y_i)表示以x_i，j作为输入的弱分类器，D_f(i，y_i)表示第f轮迭代中第i个训练图像的权重值，K[yi]=+1yi∈Y={1,2,...,k}-1yi∉Y={1,2,...,k};]]>结束H次运算后，取本轮迭代得到的H个r_f，j中的最大值，记作r_f，并将r_f对应的、采用X的第j维特征值xj作为输入的弱分类器h_j(x_j，Y)，作为第f轮筛选出的弱分类器h_f(x_j，Y)，同时将x_j作为筛选出的特征维加入到新的特征空间；步骤2.4.3，计算由步骤2.4.2选择出的弱分类器h_f(x_j，Y)的权重α_f：αf=12ln(1+rf1-rf);]]>步骤2.4.4，计算第f+1轮迭代中各个图像的权重D_f+1；Df+1=Df(i,yi)exp(-αfK[yi]hf(xi,j,yi))Zf,i=1...m.]]>其中，h_f(x_i，j,y_i)表示第f轮迭代中筛选出的、以第i个图像的第j维特征值作为输入的弱分类器，Z_f是归一化因子Zf=Σi=1mDf(i,yi)exp(-αfK[yi]hf(xi,j,yi));]]>步骤2.4.5，将步骤2.4.4得到的新权重代入步骤2.4.2，按照步骤2.4.2至步骤2.4.4的方法迭代，直到筛选出F维主要特征，并在特征矩阵X中提取F列，形成一个m行、F列的主要特征矩阵X’；步骤3，使用经步骤2得到的主要特征矩阵X’和经过步骤2.1标注的表情类别标签集Y，训练生成表情识别分类器，训练的过程遵循随机森林算法，具体方法为：步骤3.1，根据设计要求中的决策树数目T和结点特征维数u，生成T棵CART分类决策树；所述决策树的根结点的记录格式为N(J)，中间结点的记录格式为N(V，J)，叶子结点的记录格式为(V,J，y_t)；其中，J表示结点N的分裂特征维，V表示结点N的特征值，y_t表示结点N的类别标签；每棵CART分类决策树的生成方法为：步骤3.1.1，进行m次可放回随机取样，每次抽取主要特征矩阵X’的一行，构成一个新的m行、F列的矩阵X″，用于本棵CART分类决策树的生长；X″中各行特征对应的训练样本标签构成新的表情类别标签集Y＂；步骤3.1.2，从根结点开始，逐结点地进行结点分裂，最终完成整棵树的生长；每个结点的分裂过程为：a）从特征矩阵X″中随机选择u列作为本结点分裂所需的训练数据，其中表示X″的第j列；b）分别计算选出的x″j的信息增益IG_j，得到u个IG_j;IGj=IG(Y′′|x‾j′′)=H(Y′′)-H(Y′′|x‾j′′),]]>其中，H(Y″)为表情类别标签集Y″的信息熵：H(Y′′)=-Σw=1kp(y′′w=Vw)·log2p(y′′w=Vw),]]>V_w表示Y中第w个类别标签的取值，V_w∈{1,2，...,k}；为表情类别标签集Y＂基于的条件熵：H(Y′′|x‾j′′)=Σs=1hp(x′′j=Vs)·H(Y′′|x′′j=Vs)]]>=-Σs=1hp(x′′j=Vs)·Σw=1qp(y′′w=Vw|s)·log2p(y′′w=Vw|s)]]>V_s表示x″_j中元素所有相异取值中的第s种取值；V_w/s表示V_s对应的表情类别标签；H(Y＂|x″_j，s=V_s)为V_s对应的表情类别标签集合的信息熵，x＂_j表示X＂的第j列中的元素，h≤m，q≤k；c）比较步骤b得到的u个信息增益值IG_j，并将X＂中使IG_j取值最大的一列提取出来，记作x″_J，同时将该列在X’中的列数J记录下来，作为本结点的分裂特征维；d）统计x″_J中所有相异特征值的数量c，然后给当前结点建立c个分别以相异特征值为结点特征值V的子结点，并以该子结点作为子树的根结点，生成新的子树，子树的生长方法为：将x″_J中所有取值等于该特征值的元素所在X＂中的行向量提出，组成新的特征矩阵X^v，再将所提出行向量对应的所有表情类别标签提出，组成新的表情类别标签集合Y^v；然后使用(X^v，Y^v)替代(X″,Y″)，递归地进行步骤a—d的操作，直到满足下列条件之一时，结束本子树的生长：①X^v的行数小于2，或各行中所有特征值都相等致使本结点无法继续分裂时，把对应的表情类别标签集合Y^v中出现频率最高的标签作为该结点的类别标签y_t保存；②本结点下的Y^v中的表情类别标签都相同时，将唯一的表情类别标签作为该结点的类别标签y_t保存；步骤3.2，保存所有T棵CART分类决策树，形成最终的随机森林表情识别分类器；步骤4，利用步骤3离线训练得到的随机森林表情识别分类器，对待测静态图像或动态视频进行在线识别；1)对静态图像的识别方法为：步骤a，提取待识别静态图像中的面部区域；步骤b，在步骤a的基础上，根据Haar-like特征提取方法，以及步骤2.4.5得到的主要特征矩阵X’，提取识别所需的F维Haar-like特征，构成待识别表情图像的特征向量，记作x；用x_J表示特征向量x的第J维特征值；步骤c，利用步骤3离线训练得到的随机森林表情识别分类器中的T棵CART分类决策树分别对待识别表情图像的特征向量x进行识别，每棵CART分类决策树的识别从根结点开始，具体过程为：c.1.从分类器中获取当前结点的分裂特征维J，读取待识别表情图像的特征向量x的第J维特征值x_J；c.2.在当前结点的子结点中进行查找，选出结点特征值与x_J最相近的子结点；c.3.反复递归地进行c.1-c.2的操作，直到当前结点是叶子结点，停止递归，并将该叶子结点的类别标签y_t作为本棵CART分类决策树的识别结果输出；步骤d，对随机森林表情识别分类器中T棵CART分类决策树的T个输出结果y_t进行统计，将出现频率最高的类别标签作为最终的识别结果输出；2)对动态视频的识别方法为：步骤e，对视频文件进行解码，提取每帧数据，得到待识别图像序列；步骤f，在步骤e的基础上，对待识别图像序列中的每幅图像进行面部区域数据提取，得到待识别面部图像序列；步骤g，按照步骤2.2所述的Haar-like特征提取方法，对步骤f所得到的待识别面部图像序列中的每幅面部图像提取步骤2.4.5所筛选出的F维Haar-like特征；步骤h，在步骤g的基础上，使用步骤3离线训练得到的随机森林表情识别分类器，对待识别面部图像序列中的每幅面部图像进行识别，得到表情类别序列；所述面部图像的识别过程与步骤c、d相同；步骤i，对步骤h得到的表情类别序列进行平滑，去除识别序列当中的毛刺判决，得到最终识别结果。