[发明专利]一种基于人工智能的实时面部表情捕捉方法

权利要求书

1.一种基于人工智能的实时面部表情捕捉方法，其特征在于，包括以下步骤：

S1：分别构建三维人脸数据库和人脸图像数据库；

S2：针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的52个标准表情对应的Blendshapes；

S3：对所述三维人脸数据库进行重建，重构出三维人脸形状模型作为训练数据集；

S4：对所述训练数据集进行训练，得到一个模型回归器；

S5：使用摄像头采集实时视频，利用所述模型回归器，对摄像头采集到的视频序列中的图像计算得到相应的矢量参数，从而计算出所述视频序列中的图像的特征点；

S6：所述矢量参数进行归一化处理，使所述矢量参数满足条件约束；

S7：从面部图像特征点中提取与FACS表情单元相对应的几何特征，并将几何特征添加至几何特征样本集；

S8：对待识别的人脸图像进行关键点检测，筛选出关键点并进行归一化处理，得到归一化后的关键点；

S9：将归一化后的人脸关键点输入表情识别模型，预测出此时人脸表情的变化程度；

S10：最后将归一化后的所述矢量参数赋值给动画模型的Blendshapes来实时驱动动画显示，并替换当前的人脸图像。

2.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，分别构建三维人脸数据库和人脸图像数据库，具体包括：

通过Kinect摄像机录制若干人数的人脸深度信息，并根据每个人标准的52个表情模型变形出每个人的人脸表情模型作为三维人脸数据库；

使用FaceWarehouse、LFW、UDP三套人脸图像数据库，并且对所述人脸图像数据库进行手动标注面部特征点；

然后找出所述面部特征点在所述表情模型中所赌赢的顶点，并记录在文件中。

3.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，针对所述三维人脸数据库，计算所述三维人脸数据库中每个人的Blendshapes，具体包括：

使用录制的三维人脸数据库构建一个三维张量空间，通过奇异值分解将若干个用户模型修剪为多个最不相关模型，并计算得到网络模型；

使用两步迭代优化的方式来计算不同用户的Blendshapes。

4.根据权利要求1所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，所述S7中还包括以下步骤：

K1：根据潜在误差大小为几何特征样本设置权重，权重值最高为1，最低为0；

K2：为待添加的几何特征样本增加补偿样本；假设样本的真实值服从高斯分布：

sv，ω～N(μ，σ2)

其中，sv，ω表示观测值为v，权重为ω的样本的真实值，μ＝v，σ＝-lnω；为了补全因误差缺失的信息，需要从观测样本的左右两侧各取一个权重为(1-ω)/2的补偿样本，然后一起添加到样本集，设补偿样本的值为v′，则有：

其中f为高斯分布的概率密度函数；根据公式(2)计算出v′的值；

K3：样本集已满时进行最近邻样本加权合并；对某个新加入的几何特征样本，在样本集中找到其最近邻样本，然后对这两个样本进行加权合并以形成一个新样本；

合并后样本集中的样本总数保持不变。

5.根据权利要求4所述的一种基于人工智能的实时面部表情捕捉方法，其特征在于，所述S7还包括：

K1：定义表情单元变化区间；每个表情单元变化区间由三个节点值确定，分别是负极限、无表情和正极限，对应的表情单元的系数分别是-1，0和1；

K2用最近邻样本合并方法求中间节点；具体方法为：不断进行最近邻样本加权合并，直到样本集仅剩三个样本，此时中间样本即为表情单元变化区间的中间节点，即“无表情”节点；

K3：用离群点剔除方法分别求出左右节点；寻找左节点，即“负极限”节点，算法步骤如下：从最左侧样本开始依次向右扫描并计数，

(1)若相邻样本距离大于负向样本集宽度的l％，则移除左侧样本并重新计数；

(2)若计数达到负向样本总数的k％，或已扫描的样本数达到m％，则终止。