[发明专利]一种基于单目摄像头的3D人脸视频生成方法

说明书

为了降低三维人脸模型获取和重建过程的设备依赖性，本发明提出了一种基于单目摄像头的3D人脸视频生成方法；首先使用“三阶级联卷积网络”对输入视频中所包含的人脸区域进行检测和跟踪，将含有人脸的区域框选并裁剪处理为帧图片序列；然后使用一个自动编码器将帧图片序列分解为反照率、深度、光照和视点四个因子，通过一个光照函数得到重建后的规范视角下的标准图像；再然后使用“神经网格渲染器”根据深度因子获得从输入视点所观察到的深度图，通过欧式空间变换将标准图像坐标变换为实际图像坐标；最后通过一个重投影函数扭曲规范视角下的标准图像并进行双重线性采样，获得3D人脸图像；对3D人脸图像进行连续输出，得到3D人脸视频。

技术领域

本发明涉及视频图像处理，特别涉及一种关于深度学习并且基于单目摄像头的3D人脸视频生成方法，属于三维重建技术领域。

背景技术

人脸在人类的交流中起着十分重要的信息表达功能，传递着人类的情感和精神状态。而逼真的三维人脸模型在游戏娱乐、影视广告、在线教育、虚拟社交以及医疗设备等领域有着广泛的应用。对于传统的三维人脸模型获取和重建，其大多依赖于实验室内繁重和昂贵的硬件设备，以及比较苛刻的外界环境。如今随着虚拟现实技术和移动智能端得到了快速的发展，已经逐渐走进了人们的视野当中，越来越多的人希望可以通过低成本的设备在日常生活环境下就可以获取高质量的三维人脸模型，并且可以应用到生活的各个方面。利用手机、摄像机拍摄视频，或者直接利用互联网视频进行三维人脸重建，把获取设备的复杂程度降到了最低，不仅为三维人脸技术的进步和发展提供了很大的便捷性，而且为三维人脸的数字化的应用和消费带来新的契机。

本发明提出了一种基于单目摄像头的3D人脸视频生成方法，首先使用“三阶级联卷积网络”(MTCNN)对输入的视频中所包含的人脸区域进行检测和跟踪，并将含有人脸的部分框选出来；然后将所框选的含有人脸的区域裁剪出来，并处理为帧图片序列，即一系列的二维图像；然后将这些图片输入到一个自动编码器里，将其分解为反照率(albedo)、深度(depth)、光照(light)和视点(viewpoint)四个因子，之后通过一个光照函数得到重建之后的规范视角下的2D人脸图像；然后使用“神经网格渲染器”(Neural Mesh Renderer)对得到2D人脸图像进行渲染，通过一个重投影函数得到重建之后的3D人脸图像；最后对这些3D人脸图像进行连续的输出，得到最终的3D人脸视频。本发明所使用的方法获得的3D人脸模型，克服了获取视频设备的复杂、不同环境的影响，重建的精度和准确度都比较高，提高了重建的质量和鲁棒性。

发明内容

针对3D人脸重建的问题，本发明解决了视频获取设备的复杂、不同环境的影响，提出了一种基于单目摄像头的3D人脸视频生成方法，首先使用“三阶级联卷积网络”(MTCNN)对输入的视频中所包含的人脸区域进行检测和跟踪，并将含有人脸的部分框选出来；然后将所框选的含有人脸的区域裁剪出来，并处理为帧图片序列，即一系列的二维图像；然后将这些图片输入到一个自动编码器里，将其分解为反照率(albedo)、深度(depth)、光照(light)和视点(viewpoint)四个因子，之后通过一个光照函数得到重建之后的规范视角下的2D人脸图像；然后使用“神经网格渲染器”(Neural Mesh Renderer)对得到2D人脸图像进行渲染，通过一个重投影函数得到重建之后的3D人脸图像；最后对这些3D人脸图像进行连续的输出，得到最终的3D人脸视频。

为解决上述问题，本发明提出了一种基于单目摄像头的3D人脸视频生成方法，实现步骤如下：

使用“三阶级联卷积神经网络”对获取的视频中所包含的人脸区域进行检测和跟踪，并将含有人脸的部分框选出来。

进一步地，所述的三阶级联卷积神经网络有三项任务，分别为人脸与非人脸的分类，边界框回归和人脸关键点定位。

关于所述的人脸与非人脸的分类，使用公式(1)来约束这个二分类问题，使得目标值取得最小值：