[发明专利]一种基于单目摄像头的3D人脸视频生成方法

摘要

为了降低三维人脸模型获取和重建过程的设备依赖性，本发明提出了一种基于单目摄像头的3D人脸视频生成方法；首先使用“三阶级联卷积网络”对输入视频中所包含的人脸区域进行检测和跟踪，将含有人脸的区域框选并裁剪处理为帧图片序列；然后使用一个自动编码器将帧图片序列分解为反照率、深度、光照和视点四个因子，通过一个光照函数得到重建后的规范视角下的标准图像；再然后使用“神经网格渲染器”根据深度因子获得从输入视点所观察到的深度图，通过欧式空间变换将标准图像坐标变换为实际图像坐标；最后通过一个重投影函数扭曲规范视角下的标准图像并进行双重线性采样，获得3D人脸图像；对3D人脸图像进行连续输出，得到3D人脸视频。