[发明专利]一种表情驱动参数的确定方法、装置、设备及存储介质

说明书

本公开提供一种表情驱动参数的确定方法、装置、设备及存储介质，所述方法包括：采集引擎内具有第一表情标记点的虚拟角色的表情图像样本，从引擎获取第一表情标记点在表情图像样本中的二维表情参数样本和三维表情参数样本，基于表情图像样本、二维表情参数样本和三维表情参数样本训练第一网络模型，基于训练后的第一网络模型处理具有第二表情标记点的目标角色的目标表情图像和第二表情标记点在目标表情图像中的二维表情参数，获得三维表情参数，基于训练后的第二网络模型将三维表情参数转换为表情驱动参数。该方法中第一网络模型自动生成训练数据，可节省训练成本，在推理阶段自动获得三维表情参数，可快速准确捕获演员表情。

技术领域

本公开涉及面部捕捉技术领域，尤其涉及一种表情驱动参数的确定方法、装置、设备及存储介质。

背景技术

面部表情捕捉(Facial Expression Capture)是指使用标记点式光学动作捕捉系统记录实体角色(如真人)的面部表情和动作，将之转换为一系列参数的过程。与人为制作的虚拟角色表情相比，采用面部表情捕捉技术生成的虚拟角色更具真实感。

相关技术中，可以在真人演员的面部的预设位置标识光学标识点，利用动作捕捉相机录制真人演员的动作，从而获取到视频图像，接着利用数据处理设备对视频图像进行三维建模，生成虚拟角色。在此基础上，动画师需要基于视频图像手动在虚拟角色的面部标注表情标记点，再从生物运动学原理出发，基于三维表情标记点解算出骨骼的6自由度运动，从而驱动虚拟角色的面部表情。但是这个过程中，需要动画师手动在虚拟角色的面部标注三维表情标记点，导致三维表情标记点的标注耗时长、效率低、人力成本高。

发明内容

根据本公开的一方面，提供了一种表情驱动参数的确定方法，包括：

采集引擎内具有第一表情标记点的虚拟角色的表情图像样本；

从引擎获取第一表情标记点在所述表情图像样本中的二维表情参数样本和三维表情参数样本；

基于表情图像样本、二维表情参数样本和三维表情参数样本训练第一网络模型；

基于训练后的第一网络模型处理具有第二表情标记点的目标角色的目标表情图像和第二表情标记点在目标表情图像中的二维表情参数，获得三维表情参数；

基于训练后的第二网络模型将三维表情参数转换为表情驱动参数。

根据本公开的另一方面，提供了一种表情驱动参数的确定装置，包括：

构建模块，用于采集引擎内具有第一表情标记点的虚拟角色的表情图像样本；

从引擎获取第一表情标记点在所述表情图像样本中的二维表情参数样本和三维表情参数样本；

训练模块，用于基于表情图像样本、二维表情参数样本和三维表情参数样本训练第一网络模型；

推理模块，用于基于训练后的第一网络模型处理具有第二表情标记点的目标角色的目标表情图像和第二表情标记点在目标表情图像中的二维表情参数，获得三维表情参数；基于训练后的第二网络模型将三维表情参数转换为表情驱动参数。

根据本公开的另一方面，提供了一种电子设备，包括：

处理器；以及，

存储程序的存储器；

其中，程序包括指令，指令在由处理器执行时使处理器执行根据本公开示例性实施例所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行根据本公开示例性实施例所述的方法。