[发明专利]三维人脸的唇动控制方法、设备和介质

说明书

本公开提供了一种三维人脸的唇动控制方法，涉及人工智能技术领域，尤其涉及深度学习和语音处理技术领域。实现方案为：首先，对目标语音相应的文本进行切分，得到一个或多个字；然后，基于目标语音的音色特征，从向量库中获取所述一个或多个字中每一个字相应的第一向量，所述向量库包括与每一个字相应的不同于第一向量的第二向量；至少基于所述一个或多个字相应的一个或多个第一向量，确定与所述目标语音相应的目标混合系数；至少基于所述目标混合系数控制所述三维人脸的唇动，以使得所述三维人脸的唇动适配所述目标语音。

技术领域

本公开涉及人工智能技术领域，尤其涉及深度学习和语音处理技术领域，具体涉及一种三维人脸的唇动控制方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术:人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

根据语音生成相应唇动的语音唇动拟合技术，是虚拟主播、虚拟形象机器人、动画角色嘴型设计等应用的基础技术之一。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种三维人脸的唇动控制方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种三维人脸的唇动控制方法，包括：对目标语音相应的文本进行切分，得到一个或多个字；基于目标语音的音色特征，从向量库中获取所述一个或多个字中每一个字相应的第一向量，所述向量库包括与每一个字相应的不同于第一向量的第二向量；至少基于所述一个或多个字相应的一个或多个第一向量，确定与所述目标语音相应的目标混合系数；以及至少基于所述目标混合系数控制所述三维人脸的唇动，以使得所述三维人脸的唇动适配所述目标语音。

根据本公开的一方面，提供了唇动模型的训练方法，包括：获取样本用户的样本语音以及所述样本语音相应的真实混合系数；对所述样本语音相应的文本进行切分，得到一个或多个字；将所述一个或多个字输入特征向量层，获取所述特征向量层输出的所述一个或多个字中每一个字的第三向量，所述特征向量层被配置为基于所述样本用户的音色特征输出的所述一个或多个字中每一个字的第三向量，所述特征向量层能够输出每一个字的不同于第三向量的第四向量；至少将所述一个或多个字相应的一个或多个第三向量输入所述唇动模型，并获取所述唇动模型输出的预测混合系数；以及基于所述真实混合系数和预测混合系数之间的损失值，调整所述唇动模型和所述特征向量层的参数。

根据本公开的另一方面，提供了一种三维人脸的唇动控制装置，包括：第一文本切分模块，被配置用于对目标语音相应的文本进行切分，得到一个或多个字；第一获取模块，被配置用于基于目标语音的音色特征，从向量库中获取所述一个或多个字中每一个字相应的第一向量，所述向量库包括与每一个字相应的不同于第一向量的第二向量；确定模块，被配置用于至少基于所述一个或多个字相应的一个或多个第一向量，确定与所述目标语音相应的目标混合系数；以及控制模块，被配置用于至少基于所述目标混合系数控制所述三维人脸的唇动，以使得所述三维人脸的唇动适配所述目标语音。