[发明专利]三维人脸与眼球运动的建模与捕获方法及系统

说明书

本发明提出一种三维人脸与眼球运动的建模与捕获方法及系统，对于拍摄得到的场景图像，首先需要提取得到图像中人脸的特征点的位置信息，该信息的获取使用卷积神经网络的方法；获取得到稀疏的面部特征点后，利用人脸的多线性模型作为模型的先验条件，将图像上检测到的特征点位置作为观测结果，并设计一个最大后验的框架来优化求解图像中人脸的几何形状和姿态。针对三维眼球的运动，利用稀疏的二维特征点抠取得到眼睛区域图像块，利用特征点的位置信息实现图像块的对齐，进一步标记出虹膜和瞳孔的区域，利用基于合成的分析方法将眼球运动实时重建出来。结合上一步得到的表情参数，将人脸表情运动和眼球运动相结合，得到完整的面部表情动画。

技术领域

本发明涉及人脸识别领域，并特别涉及一种三维人脸与眼球运动的建模与捕获方法及系统。

背景技术

在虚拟动画领域中，人脸动画属于一个重要而又热门的研究问题。人脸动画不单只面部表情的运动，其中还包括眼球的运动。涵盖了表情运动和眼球运动的人脸动画才会给人一种更加真实逼真的动画感觉。忽略眼球运动的人脸动画会给人一种呆板无神的感觉，会让人产生很强的不适感。在当前的科研工作中，生成人脸动画的常用方法即从真人的视频中进行人脸运动的捕获，同时添加眼球运动的捕获。从硬件成本和资源利用率等方面考虑，使用一个单目相机从拍摄视频中获取三维眼球的状态，是当前眼球追踪方法中最为理想的一种实现方式。

基于图像的人脸建模研究，因其拍摄设备的要求较低，极易获取彩色图像和彩色视频等图像信息。智能手机上普遍配置了摄像头，为了得到更好的用户体验，本方法在图像上实现对人脸和人眼的三维建模研究。Wang等人发表的Realtime 3D eye gaze animationusing a single RGB camera方法，设计了要第一个实时的三维人眼追踪系统。在该方法中，作者使用随机森林的方式对图像中的瞳孔和虹膜区域进行提取和识别，并在提取到的数据上添加中心聚类的方法做约束来实现眼球追踪系统。该方法虽然可以得到三维的眼球状态，然而采用基于随机森林的方法依然存在一定的缺陷。使用随机森林的方法主要有以下不足：

一、使用随机森林对像素进行分类，得到的分类结果较为不准确，需要后期使用中心聚类的方法来进行约束；

二、时间消耗加大，内存占用严重，对硬件要求较高，无法将系统迁移至移动端使用。

针对使用随机森林产生的缺陷，本发明使用卷积神经网络的方法来解决该问题，结合Unet和Squeezenet各自的优点，使用神经网络可以快速准确的得到眼球图像分割模型，进一步将分割结果输入至眼球追踪的系统框架中，来得到三维眼球的运动结果。

发明内容

本发明的目的是解决现有技术的不足，提出一种三维人脸与眼球运动建模与捕获技术，在拍摄得到彩色图像/视频的情况下，对图像进行特征点检测，三维人脸表情重建，引入三维眼球追踪技术生成完整的三维人脸动画，增强表情动画的真实感。进一步提出一个端到端的人脸运动捕获系统来同时捕获人脸的头部姿态，眼睛运动和面部表情，并且能够进行自动的眼球参数标定。

针对现有技术的不足，本发明提出一种三维人脸与眼球运动的建模与捕获方法，其中包括：

步骤1、获取待人脸建模的视频序列，对该视频序列进行光流检测得到光流图像，对该视频序列进行面部特征点检测得到面部特征点；

步骤2、根据该面部特征点和该光流图像重建得到三维表情模型；

步骤3、通过该面部特征点获取眼睛区域图像，并在该眼睛区域图像上进行瞳孔虹膜像素检测，得到虹膜像素的掩码，同时对该眼睛区域图像进行边界检测，得到该眼睛区域图像的边界区域；

步骤4、根据该掩码、该边界区域和该三维表情模型，对三维眼球运动进行追踪，重建得到三维眼球运动状态；

步骤5、将该三维眼球运动状态迁移至该三维表情模型，得到包含眼球状态、头部姿态和面部表情的三维模型。