[发明专利]一种基于图卷积神经网络的三维人脸重建方法在审
申请号: | 202010929831.2 | 申请日: | 2020-09-07 |
公开(公告)号: | CN112150608A | 公开(公告)日: | 2020-12-29 |
发明(设计)人: | 孟凡阳;潘鸿鹄;何震宇;田第鸿;柳伟 | 申请(专利权)人: | 鹏城实验室;哈尔滨工业大学(深圳) |
主分类号: | G06T17/00 | 分类号: | G06T17/00;G06N3/04;G06N3/08 |
代理公司: | 深圳市君胜知识产权代理事务所(普通合伙) 44268 | 代理人: | 温宏梅 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 图卷 神经网络 三维 重建 方法 | ||
1.一种基于图卷积神经网络的三维人脸重建方法,其特征在于,所述方法包括:
获取待重建的人脸图像,确定所述人脸图像对应的若干人脸子区域,其中,若干人脸子区域中的每个人脸子区域均包含于所述人脸图像;
对于每个人脸子区域,获取该人脸子区域对应的人脸特征向量;
基于经过训练的图卷积神经网络,确定该人脸特征向量对应的三维人脸结构信息;
根据获取到所有三维人脸结构信息,确定所述人脸图像对应的三维人脸图像。
2.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述人脸图像为二维人脸图像。
3.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述三维人脸结构信息包括若干三维人脸点云数据,若干三维人脸点云数据中的每个三维人脸点云数据均包括位置信息以及颜色信息。
4.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述获取待重建的人脸图像,并将所述人脸图像划分为若干人脸子区域具体包括:
获取待重建的人脸图像,并获取所述人脸图像的人脸特征点集;
将所述人脸特征点集划分为若干人脸特征点子集;
对于若干人脸特征点子集中的人脸特征点子集,确定该人脸特征点子集对应的人脸子区域,以得到若干人脸子区域。
5.根据权利要求4所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述人脸子区域为包括该人脸子区域对应的人脸特征点子集中所有人脸特征点的最小区域。
6.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述对于每个人脸子区域,获取该人脸子区域对应的人脸特征向量具体包括:
对于每个人脸子区域,调整该人脸子区域的区域尺寸,以得到调整后的人脸子区域;
基于经过训练的特征提取模型以及调整后的人脸子区域,确定所述人脸子区域对应的人脸特征向量,其中,所述调整后的人脸子区域的区域尺寸与所述特征提取模型的输入项的图像尺寸相同。
7.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所述图卷积神经网络包括三层级联的图卷积结构,并且按照级联顺序各层图卷积结构的特征数依次增大。
8.根据权利要求1所述基于图卷积神经网络的三维人脸重建方法,其特征在于,所有三维人脸结构信息中的每个三维人脸结构信息均包括若干三维点云数据;所述根据获取到所有三维人脸结构信息,确定所述人脸图像对应的三维人脸图像具体包括:
获取各三维人脸结构信息对应的各人脸子区域的重叠区域,以及各人脸子区域构成图像区域对应的残差区域,其中,所述残差区域与所述图像区域构成所述人脸图像;
对于获取到的每个重叠区域,获取各重叠区域中每个像素点对应的三维点云数据,并将获取到所有三维点云数据的均值作为该像素点对应的三维点云数据,以得到各人脸子区域构成图像区域对应的三维人脸结构信息;
基于经验法以及插值法确定残差区域对应都预测三维人脸结构信息;
基于所述三维人脸结构信息以及预测三维人脸结构信息,确定所述人脸图像对应的三维人脸图像。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1~8任意一项所述的基于图卷积神经网络的三维人脸重建方法中的步骤。
10.一种终端设备,其特征在于,包括:处理器、存储器及通信总线;所述存储器上存储有可被所述处理器执行的计算机可读程序;
所述通信总线实现处理器和存储器之间的连接通信;
所述处理器执行所述计算机可读程序时实现如权利要求1-8任意一项所述的基于图卷积神经网络的三维人脸重建方法中的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于鹏城实验室;哈尔滨工业大学(深圳),未经鹏城实验室;哈尔滨工业大学(深圳)许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010929831.2/1.html,转载请声明来源钻瓜专利网。