[发明专利]一种利用粒子滤波框架的三维混合表情识别方法

摘要

本发明涉及一种利用粒子滤波框架的三维混合表情识别方法，包括构建训练数据库，获取待识别用户的三维表情作为输入进行训练，然后获取每种子表情下人脸部位子表情的特征信息；利用Baum‑Welch算法构建不同子状态之间的转移概率矩阵；采用以下滤波过程进行表情识别：①进行粒子采样并预估眼部的表情概率，再根据眼睛部位的观测值/特征值计算各粒子的权值从而得到眼部表情的最优估计；②对鼻子、嘴巴、左脸颊、右脸颊、前额、下巴重复步骤①或最优估计收敛；③采用各人脸部位最佳预测的加权平均值作为混合表情输出。快速识别包含一种或多种基本表情的混合表情，并输出相应表情的强度，且表情识别的精度可随用户对子表情强度划分精细度的提升而提升。

主权项

1.一种利用粒子滤波框架的三维混合表情识别方法，其特征在于，包括如下步骤：1)构建训练数据库，获取待识别目标用户的三维表情作为输入进行训练，然后获取每种子表情下人脸部位子表情的特征信息；2)利用Baum‑Welch算法构建不同子状态之间的转移概率矩阵；采用如下规则设置转换概率，即子表情的转换很可能发生在强度相邻的子表情及其本身之间；根据人脸部位对表情识别的贡献度，状态转移顺序设定为：在垂直方向上把三维人脸分为前额、眼睛、鼻子、左脸颊、右脸颊、嘴巴、下巴七个特征部位；3)采用以下滤波过程进行表情识别：基于SIR(Sampling Importance Resampling)粒子滤波架构的识别：①进行粒子采样并预估眼部的表情概率，再根据眼睛部位的观测值/特征值计算各粒子的权值从而得到眼部表情的最优估计；②对鼻子、嘴巴、左脸颊、右脸颊、前额、下巴重复步骤①或最优估计收敛；③采用各人脸部位最佳预测的加权平均值作为混合表情输出；在进行表情估计的过程中，首先需要进行粒子采样即表情的预估，设为预估状态，则其可以由预估方程π计算：其中O_1:N‑1代表前N‑1个人脸部位的观测值；E_1:N‑1表示表情的最优估计序列；为状态转移函数，由用户的三维面部信息训练得到；在人脸表情预估后还需要对估计结果进行修正，即确定采样后粒子的权重，根据SIR架构可知似然函数就是粒子权重函数，如下所示：p(O|E)＝W＝1‑||f(E)‑f(O)||                            (2)E表示某种三维表情，O表示观察值包含图像及深度信息，f为特征提取函数；当表情状态经过预测后，系统利用式(2)的似然函数来修正预估的表情状态,得到表情的后验概率分布为：其中ω^k为表示第k个粒子的权重可由公式(2)得到，K为粒子个数；当最优估计为单一表情且收敛时，上式即可计算出人脸表情，此外需要计算混合表情：其中ω_n表示第n个人脸部位的权重，可由其中特征点个数的比例得出，特征点的划分可参考经典ASM(Active Shape Model)算法。