[发明专利]一种基于RealSense的人脸表情动画驱动方法

说明书

技术领域

本发明涉及计算机图形学领域，尤其是一种基于RealSense的人脸表情动画驱动方法。

背景技术

计算机人脸表情动画技术包括人脸的建模技术以及模拟真实人脸的动画技术，而真实感的计算机人脸显示是计算机图形学研究领域最基本的问题之一，由于人脸的生理结构的复杂性以及人们对人脸的细节变化的高要求，它成为最困难和最具挑战性的问题之一，同时其应用广泛：电影和计算机游戏等娱乐行业是计算机人脸动画的主要推动力量，它不仅可以制作虚拟现实环境中的各种虚拟人物，还可应用于虚拟主持人、可视电话、远程网络会议等多媒体的制作和传输；另外还可以应用于科学可视化的领域，如医学辅助治疗、医学美容、法庭辅助辨认分析等，在人机交互等日益增长的信息通信技术领域也有着很好的应用前景。

目前人脸表情动画驱动技术主要可以分为两类：基于几何学方法和基于图像处理的人脸表情虚拟显示技术；其中基于图像处理的人脸虚拟显示技术包括Morphing方法、表演驱动方法及人脸表情编码系统驱动方法；基于表演驱动的人脸表情虚拟显示技术首先对人脸表情进行捕捉，然后驱动人脸模型产生对应的人脸表情，是当下最流行的人脸表情合成技术之一。传统的人脸表情捕捉方式是基于人脸特征点标记技术，为保证精度，往往需要在表演者贴上稀疏的物理标记，此种方法对演员有侵入性并且设备昂贵，操作复杂；在基于视频处理技术的表演型人脸动画驱动方法之中，过去的研究方法都是利用基于普通摄像头的2D图像，追踪人脸表情提取特征点，而对于三维空间的人脸来说，2D图像所含有信息量不足以精确描述特征，尤其是复杂背景下，需要花费大量的时间对图像进行各种形态学操作以增强图像质量，效率低下。

发明内容

本发明的目的在于：本发明提供了一种基于RealSense的人脸表情动画驱动方法，解决了现有表演驱动的人脸表情虚拟显示技术因采用普通摄像头实现捕捉和特征提取不能适用于复杂背景导致精度差、效率低、处理复杂的问题。

本发明采用的技术方案如下：

一种基于RealSense的人脸表情动画驱动方法，包括如下步骤：

步骤1：获取深度图像后对其进行预处理得到深度信息灰度图；

步骤2：基于深度信息灰度图提取人脸特征集与非人脸特征集样本得到深度信息训练集，并从其中提取Haar-like特征集后进行Adaboost训练得到级联人脸分类器，并根据其追踪人脸位置；

步骤3：将追踪的人脸位置映射至获取的彩色图像的位置后得到的彩色图像人脸位置，并将其通过算法提取人脸特征；

步骤4：将人脸特征和彩色图像人脸位置进行处理后与人脸模型AU匹配，完成表情动画驱动。

优选地，所述步骤1包括如下步骤：

步骤1.1：初始化RealSense参数，启动设备获取640*480彩色图与深度信息图像后，设置合理深度阈值范围去除背景噪声，输出待检测像素矩形目标区域I即深度图像区域I；

步骤1.2：将深度图像转换为深度灰度图，并对深度灰度图归一化处理。

优选地，所述步骤2包括如下步骤：

步骤2.1：按照步骤1.1采集数千张人脸与非人脸深度灰度图作为训练样本；

步骤2.2：将训练样本归一化到同样大小，利用“积分图”快速计算每个样本的Haar-like特征值得到深度信息训练集；

步骤2.3：选择特征并生成弱分类器：利用Adaboost算法从深度信息训练集的Haar-like特征中选择出那些使人脸分类错误率最低的特征，并生成弱分类器；

步骤2.4：将弱分类器组合成强分类器后并将其进行处理得到级联分类器：将强分类器级联的每一层级分类器都尽可能的剔除负样本，保留正样本，并出发下一层分类器，以此类推，形成级联分类器；

步骤2.5：对步骤1.1中的深度图像区域I利用金字塔采样，对金字塔上每层图像使用训练好的级联分类器检测得到深度图中目标人脸所在矩形区域face1(x1,y1,width1,height1)即人脸位置。

优选地，所述步骤3包括如下步骤：

步骤3.1：将深度图中的目标人脸位置映射到彩色图像中得到彩色图像人脸位置，其坐标位置与face1区域相同，记为face2(x2,y2,width2,height2)，其中x2＝x1，y2＝y1，width2＝width1，height2＝height1；

步骤3.2：将彩色图像人脸位置即face2通过AAM算法或者ASM算法提取人脸特征。

优选地，所述步骤4包括如下步骤：