[发明专利]基于三维重建的人脸修饰方法、装置、设备及存储介质

说明书

本发明提供的基于三维重建的人脸修饰方法、装置、设备及存储介质，属于图像处理技术领域。该方法包括：从原始人脸图像中确定目标修饰区域；对目标修饰区域进行三维重建，得到目标修饰区域所对应的三维空间信息；根据三维空间信息对目标修饰区域进行着色处理，得到修饰后的人脸图像。本发明根据三维空间信息对目标修饰区域进行着色处理，使得纹理感更强，并且能够有效还原目标修饰区域的细节、以及纹理更细腻，通过对目标修饰区域进行法向打光，可以有效增强立体感，进而显著地提升用户体验。

技术领域

本发明涉及图像处理领域，具体而言，涉及基于三维重建的人脸修饰方法、装置、设备及存储介质。

背景技术

随着科学技术的发展和技术产业化应用水平的提升，手机的性能越来越好、硬件配置已经越来越完备。但同时，随着手机市场竞争越来越激烈，拼硬件配置已经不能吸引到更多的电子消费者，所以，大部分的手机厂商都在追求手机产品的差异化功能规划、设计、营销等。例如，对于人脸修饰中的口红修饰这个应用场景来说，目前现有的口红修饰是通过对原始图像进行人脸识别；当原始图像包含人脸区域时，从人脸区域中定位嘴唇区域，并根据嘴唇区域，获取平均唇色数据；根据平均唇色数据和原始图像的色温数据，对嘴唇区域的像素点进行处理。由于是基于二维嘴唇区域进行处理，故现有技术存在处理结果依赖平均唇色数据、处理结果不细腻、纹理感不强、没有真实立体感、用户体验较差技术问题。

发明内容

本发明实施例提供的基于三维重建的人脸修饰方法、装置、设备及存储介质，可以解决现有技术中存在的处理结果不具备立体光泽、依赖平均唇色数据、处理结果不细腻、纹理感不强、没有真实立体感、用户体验较差的技术问题。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供的一种基于三维重建的人脸修饰方法，包括：从原始人脸图像中确定目标修饰区域；对所述目标修饰区域进行三维重建，得到所述目标修饰区域所对应的三维空间信息；根据所述三维空间信息对所述目标修饰区域进行着色处理，得到修饰后的人脸图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，所述的从原始人脸图像中确定目标修饰区域，包括：根据预设人脸关键点检测模型从原始人脸图像中确定人脸关键点信息；根据所述人脸关键点信息从所述原始人脸图像中分离出待修饰区域，所述待修饰区域为所述目标修饰区域。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，所述的对所述目标修饰区域进行三维重建，得到所述目标修饰区域所对应的三维空间信息，包括：将所述目标修饰区域以及所述人脸关键点信息输入预设三维基础模型，输出所述目标修饰区域所对应的三维空间信息。

结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，所述的将所述目标修饰区域以及所述人脸关键点信息输入预设三维基础模型，输出所述目标修饰区域所对应的三维空间信息，包括：获取所述人脸关键点信息和所述目标修饰区域对应的基础参数以及所述基础参数所对应的权重系数；根据所述基础参数确定与所述基础参数匹配的预设三维基础模型；通过所述权重系数对所述预设三维基础模型进行加权处理，得到所述目标修饰区域对应的三维空间信息。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，还包括：获取标注有人脸关键点的图像样本数据；通过所述图像样本数据对初始人脸关键点检测模型进行神经网络训练，得到预设人脸关键点检测模型。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，所述的根据所述三维空间信息对所述目标修饰区域进行着色处理，得到修饰后的人脸图像，包括：根据所述三维空间信息对所述目标修饰区域进行着色处理，得到三维纹理着色结果；将所述三维纹理着色结果替换到所述原始人脸图像的所述目标修饰区域上，得到修饰后的人脸图像。