[发明专利]一种三维重建方法、人脸三维重建方法及其相关装置

说明书

本申请公开了一种三维重建方法、人脸三维重建方法及其相关装置，包括：获取到包括目标对象的图像；基于图像获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对目标对象进行三维重建。通过上述方法，减小了三维重建技术中算法带来的功耗和内存消耗。

技术领域

本发明涉及图像处理应用领域，特别是涉及一种三维重建方法、人脸三维重建方法及其相关装置。

背景技术

基于单张图片的深度学习三维人脸重建技术，是应用于数字，人脸表情驱动，AI三维动效，avater的基础技术。以上应用的场景都是基于三维人脸重建技术。三维人脸重建分为参数化重建方法和非参数化重建方法，参数化重建方法更是三维人脸重建的重要方法之一。

深度学习领域已经应用到很多领域了，随着深度学习的业务扩展覆盖面更广，而且对移动端的边缘计算资源利用要求也越来越高，例如很多算法应用到手机端时，均需对其算法进行简化。

现在，很多移动端算子的第三方优化也做的越来越好，功耗越来越低，计算速度也越来越快，比如常用的一些卷积层，池化层运算优化。一般情况下，深度学习模型训练好后，需要将训练好的模型转换到移动端优化的平台上，比如将caffe模型或者是tensorflow模型或者是pytorch模型转换到tflite，onnx，tensorRT模型下，才能使用移动端的优化算子进行加速。一方面经过加速后的计算，会比不加速快50％到几倍不等。另一方面，有的移动端带有NPU计算，即会利用一些特殊计算资源加快计算，这就存在百倍的运算速度差异了。

发明内容

本申请主要解决的技术问题是提供一种三维重建方法及装置，以减少算法的计算量，解决现有的三维重建技术中算法带来的功耗和内存消耗。

为解决上述问题，本申请提供了一种三维重建方法，包括：获取到包括目标对象的图像；基于图像获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对目标对象进行三维重建。

其中，利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：基于预设数据构建参数模型；获取参数模型的固定参数；基于固定参数对特征参数进行卷积计算，得到目标对象的三维重建参数。

其中，基于固定参数对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：获取固定参数的第一类参数与特征参数的第一类参数的乘积、固定参数的第二类参数与特征参数的第二类参数的乘积以及固定参数的第三类参数；将第一类参数的乘积与第二类参数的乘积以及第三类参数的和确定为目标对象的三维重建参数。

其中，获取参数模型的固定参数的步骤，包括：根据三维重建参数从参数模型的初始参数中选取固定参数。

其中，神经网络包括相互级联的特征提取网络以及三维重建网络；基于图像获取到目标对象的特征参数的步骤包括：利用特征提取网络获取到目标对象的特征参数；利用神经网络对特征参数进行卷积计算，得到目标对象的三维重建参数的步骤，包括：利用三维重建网络对特征参数进行卷积计算，得到目标对象的三维重建参数。

为解决上述问题，本申请提供了一种人脸三维重建方法，包括：获取到包括人脸的图像；基于图像获取到人脸的形状参数和表情参数；利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数；其中，神经网络是通过固化特征参数与三维重建参数的关联关系后得到的；基于三维重建参数对人脸进行三维重建。

其中，利用神经网络对形状参数和表情参数进行卷积计算，得到人脸的三维重建参数的步骤，包括：基于预设数据构建参数模型；获取参数模型的第一参数、第二参数以及第三参数；基于第一参数、第二参数以及第三参数对人脸的形状参数和表情参数进行卷积计算，得到人脸的三维重建参数。