[发明专利]端到端的虚拟对象动画生成方法及装置、存储介质、终端

说明书

一种端到端的虚拟对象动画生成方法及装置、存储介质、终端，所述方法包括：接收输入信息，所述输入信息包括待生成虚拟对象动画的文本信息或音频信息；将所述输入信息转换为发音单元序列；对所述发音单元序列进行特征分析，得到对应的语言学特征序列；将所述语言学特征序列输入预设时序映射模型，以基于所述语言学特征序列生成对应的虚拟对象动画。通过本发明方案能够提供一种通用性更高的端到端虚拟对象动画生成方案，能够快速自动生成虚拟对象动画且输入选择性更为多样化。

技术领域

本发明涉及虚拟数字对象技术领域，具体地涉及一种端到端的虚拟对象动画生成方法及装置、存储介质、终端。

背景技术

随着虚拟数字对象(可简称为虚拟对象)技术、动画产业等领域的飞速发展，市场对快速自动生成真实、逼真的虚拟形象的需求与日俱增。其中，如何生成与语音相匹配的逼真的虚拟数字对象动画是生成真实、逼真的虚拟形象的一个极其重要的环节。

传统的虚拟对象动画生成技术，主要依靠动画师和美术师对虚拟对象动画进行精细的人工制作。如人工根据输入端接收到的原始音频制作对应的虚拟对象动画，该过程需要较高的人力成本和时间成本，且无法实现端到端的虚拟对象动画自动生成。

近年来，随着计算机深度学习技术的飞速发展，出现了根据音频特征直接生成虚拟对象动画的端到端虚拟对象动画生成技术，极大地加快了高逼真度虚拟对象动画的制作过程。

然而，目前主流的此类端到端虚拟对象动画生成技术是对原始输入的音频信号在声波基础上进行分析进而生成相应的虚拟对象动画的。这种技术手段需要依赖特定的音频特征，只能适用于具有特定声音特征的配音演员，严重制约了该技术的通用性以及对制作成本的进一步降低。

此外，现有的端到端虚拟对象动画生成技术通常只能以音频作为唯一输入，无法通过输入原始文本的形式来直接驱动生成虚拟对象动画。这在一定程度上也限制了虚拟对象动画生成技术的输入选择性，影响用户的使用体验。

发明内容

本发明解决的技术问题是提高一种通用性更高的端到端虚拟对象动画生成方案。

为解决上述技术问题，本发明实施例提供一种端到端的虚拟对象动画生成方法，包括：接收输入信息，所述输入信息包括待生成虚拟对象动画的文本信息或音频信息；将所述输入信息转换为发音单元序列；对所述发音单元序列进行特征分析，得到对应的语言学特征序列；将所述语言学特征序列输入预设时序映射模型，以基于所述语言学特征序列生成对应的虚拟对象动画。

可选的，所述将所述输入信息转换为发音单元序列包括：将所述输入信息转换为发音单元及对应的时间码；根据所述时间码对所述发音单元进行时间对齐操作，以得到所述发音单元序列，其中，所述发音单元序列为时间对齐后的序列。

可选的，所述将所述输入信息转换为发音单元及对应的时间码包括：当所述输入信息为音频信息时，基于语音识别技术和预设发音字典将所述音频信息转换为发音单元及对应的时间码。

可选的，所述将所述输入信息转换为发音单元及对应的时间码包括：当所述输入信息为文本信息时，基于语音合成技术将所述文本信息转换为发音单元及对应的时间码。

可选的，所述将所述输入信息转换为发音单元序列包括：当所述输入信息为音频信息时，基于语音识别技术和预设发音字典将所述音频信息转换为发音单元及对应的时间码；根据所述时间码对所述发音单元进行时间对齐操作，以得到时间对齐后的发音单元序列。

可选的，所述将所述输入信息转换为发音单元序列包括：当所述输入信息为文本信息时，基于语音合成技术将所述文本信息转换为发音单元及对应的时间码；根据所述时间码对所述发音单元进行时间对齐操作，以得到时间对齐后的发音单元序列。