[发明专利]一种基于人脸三维重建的改进PCA算法

说明书

本发明属于图像识别、三维建模领域，具体为一种基于图像序列的人脸三维重建的设计和实现方法。本设计提出一种改进的PCA算法，以序列图像相邻帧人脸特征点PCA系数的补偿量按其权系数迭代优化模型形变的PCA系数以重建人脸的三维形状与颜色信息，并利用加权平均Isomap算法将序列图像每一帧中人脸各点纹理按照其权重求和以重建人脸的纹理信息，实现自动、实时的人脸三维重建。以Windows为平台，采用VC++为开发环境，结合以机器视觉库OpenCV为主的图像处理工具，编写了人脸三维重建的应用程序，其功能模块包括图像获取、人脸检测、特征点提取、三维人脸重建等。详细分析了其技术流程并对各功能模块的结果进行了测试。通过对比人脸不同姿态三维重建的结果、人脸不同光照背景下三维重建的结果、不同人脸三维重建的结果以及不同人脸三维重建方法的重建结果，验证了系统的性能。

技术领域

本发明属于图像识别、三维建模领域，具体为一种基于图像序列的人脸三维重建的设计和实现方法。

背景技术

在整体上看，不同的人脸有很高的相似性，人脸的五官区域分布大致相同，大小和形状也并没有十分大的差异。然而在局部细节上，人脸在不同性别和宗族的个体之间又有很大的区别。从计算机视觉领域来看，人脸是标识不同个体身份的主要方法，而三维形状因其特性能更好的描述特征信息，可操作性更强，更是研究的热点。

将物体拍摄为二维图像时，其三维形状和表面反射性质并不断随着拍摄视角、光照条件和背景内其他物体遮挡方式的改变而变化。这个特性可以简化计算机对图像的分析过程，因为其可以预测在不同拍摄条件下物体形成的图像效果。因此，计算机视觉领域一直致力于直接从图像中提取感兴趣的三维信息，特别是从单张图像中获取一幅人脸照片往往由比较多的像素构成，如果以每个像素作为1维特征，将得到一个维数非常高的特征向量，计算将十分困难；而且这些像素之间通常具有相关性。这样，利用PCA技术在降低维数的同时在一定程度上去除原始特征各维之间的相关性自然成为了一个比较理想的方案。PCA算法提供了一种压缩数据的方式，也可以将PCA视为学习数据表示的无监督学习算法。PCA学习一种比原始输入维数更低的表示。它也学习了一种元素之间彼此没有线性相关的表示。PCA可以通过协方差矩阵得到。主成分也可以通过奇异值分解(SVD)得到。在多元统计分析中，PCA是一种分析、简化数据集的技术。主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。但是，这也不是一定的，要视具体应用而定。由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。

由于本设计期望实现的是虚拟发型变换等系统中的人脸三维重建，结合多方面因素，本设计提出了一种改进的PCA算法用于人脸的三维重建，在基于单张图像重建三维人脸的基础上采用基于图像序列的方法重建三维人脸。系统在完成图像获取、人脸检测、人脸特征点的提取与人脸一般模型的建立后，需要进行模型调整（整体和局部调整）及其皮肤纹理映射，最终实现三维人脸模型的重建。下面详细阐述本设计及相关算法的模型调整以及纹理映射过程。

发明内容