[发明专利]一种头部三维重建方法及设备

权利要求书

1.一种头部三维重建方法，其特征在于，包括：

获取相机采集的原始图像，对所述原始图像进行人脸识别，得到人脸图像；

从所述人脸图像中提取驱动参数，并用提取的驱动参数驱动参数化头部模型运动，得到驱动后的头部三维几何模型，所述参数化头部模型是基于初始人脸图像中提取的头部参数预先构建的；

对所述人脸图像进行语义分割，得到各个独立的子区域；

针对所述各个子区域中的任意一个子区域，从所述子区域中获取任意一个像素点，确定获取的像素点的颜色值与所述像素点的镜像像素点的颜色值的第一差值；

若所述第一差值大于预设颜色阈值，则从所述像素点的目标邻域内选取预设数目的临近像素点，并分别确定各个临近像素点的颜色值与各自镜像像素点的颜色值的第二差值；

若各个第二差值中大于预设颜色阈值的第二差值对应的临近像素点的个数大于预设值，则确定所述目标邻域为空洞区域，补全所述空洞区域的纹理数据，得到纹理补全后的所述子区域；

对补全后的各个子区域进行融合，得到人脸的完整纹理数据；

根据所述完整纹理数据渲染所述头部三维几何模型，得到重建后的头部稠密表面模型。

2.如权利要求1所述的方法，其特征在于，所述补全所述空洞区域的纹理数据，包括：

根据预设的初始颜色值、所述人脸图像的颜色均值、以及多帧人脸图像中所述子区域的颜色加权值，补全所述空洞区域的纹理数据。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

针对所述子区域中不存在对应镜像像素点的单一像素点，将所述单一像素点的颜色值设置为预设的初始颜色值；以及

针对存在对应镜像像素点但不为空洞区域内的有效像素点，根据所述人脸图像的颜色均值、以及多帧人脸图像中所述子区域的颜色加权值，确定有效像素点的颜色值。

4.如权利要求1-3中任一项所述的方法，其特征在于，所述相机为RGBD相机时，所述初始人脸图像为RGBD人脸图像，所述基于初始人脸图像中提取的头部参数预先构建参数化头部模型，包括：

从所述RGBD人脸图像中提取人脸深度信息；

根据所述人脸深度信息优化所述头部参数；

基于优化后的头部参数预先构建参数化头部模型。

5.如权利要求1-3中任一项所述的方法，其特征在于，所述头部参数包括头部形状参数、头部姿态参数、面部表情参数，所述参数化头部模型公式为：

其中，所述表示头部形状参数，所述表示头部姿态参数，所述为面部表情参数，W()表示线性蒙皮函数，J()表示预测不同头部关节点位置的函数，T表示头部模型网格，B_s()表示头部形状参数对头部模型网格T的影响函数，B_p()表示头部姿态参数对头部模型网格T的影响函数，B_e()表示面部表情参数对头部模型网格T的影响函数，T_p()表示在头部形状参数、头部姿态参数和面部表情参数的共同作用下对头部模型网格T进行形变的函数，s、p、e、ω分别表示头部形状权重、头部姿态权重、面部表情权重，蒙皮权重。