[发明专利]一种基于人工智能的合成说话表情的方法和相关装置

说明书

本申请实施例公开了一种基于人工智能的合成说话表情的方法和相关装置，至少涉及人工智能中的多种技术，针对终端发送的文本内容，确定文本内容对应的文本特征和所述文本特征所标识发音元素的时长，通过表情模型，获得所述文本特征、所标识发音元素的时长对应的目标表情特征；并向所述终端返回所述目标表情特征。该表情模型可以对该文本特征中具有不同时长的同一发音元素确定出不同的子表情特征，增加了说话表情的变化样式，根据表情模型所确定目标表情特征生成的说话表情与说话人的表情搭配，由于对于同一个发音元素说话表情具有不同的变化样式，从而改善了说话表情变化的过度不自然的情况，提高了用户的沉浸感。

本申请对申请号为201811354206.9，申请日为2018年11月14日，发明名称为“一种模型训练方法、合成说话表情的方法和相关装置”的中国专利申请提出分案申请。

技术领域

本申请涉及数据处理领域，特别是涉及一种基于人工智能的合成说话表情的方法和相关装置。

背景技术

随着计算机技术的发展，人机交互已经比较常见，但多为单纯的语音交互，例如，交互设备可以根据用户输入的文字或语音确定回复内容，并播放根据回复内容合成的虚拟声音。

这种类型的人机交互带来的用户沉浸感难以满足目前用户的交互需求，为了提高用户沉浸感，具有表情变化能力例如可以口型变化的虚拟对象作为和用户的交互对象应运而生。这种虚拟对象可以卡通、虚拟人等虚拟形象，在与用户进行人机交互时，除了可以播放交互用的虚拟声音，还可以根据虚拟声音展示对应的表情，给用户提供一种虚拟对象发出该虚拟语音的感受。

目前这种虚拟对象做出何种表情主要是根据当前所播放的发音元素决定的，导致针对播放虚拟语音时，虚拟对象的表情变化样式局限，而且表情变化的过度不自然，给用户提供的感受实际并不好，难以起到提高用户沉浸感的作用。

发明内容

为了解决上述技术问题，本申请提供了一种用于合成说话表情的模型训练方法、合成说话表情的方法和相关装置，增加了说话表情的变化样式，根据表情模型所确定目标表情特征生成的说话表情，由于对于同一个发音元素说话表情具有不同的变化样式，从而一定程度上改善了说话表情变化的过度不自然的情况

本申请实施例公开了如下技术方案：

第一方面，本申请实施例提供一种用于合成说话表情的模型训练方法，包括：

获取包含说话人面部动作表情和对应语音的视频；

根据所述视频获取所述说话人的表情特征、所述语音的声学特征以及所述语音的文本特征；所述声学特征包括多个子声学特征；

根据所述文本特征和所述声学特征确定所述文本特征所标识发音元素的时间区间和时长；所述文本特征所标识的任一个发音元素为目标发音元素，所述目标发音元素的时间区间为所述目标发音元素在所述声学特征中所对应子声学特征在所述视频中的时间区间，所述目标发音元素的时长为所述目标发音元素所对应子声学特征的持续时间；

根据所述文本特征所标识发音元素的时间区间和时长，以及所述表情特征，确定第一对应关系，所述第一对应关系用于体现发音元素的时长与发音元素的时间区间在所述表情特征中对应的子表情特征间的对应关系；

根据所述第一对应关系训练表情模型；所述表情模型用于根据待定文本特征和所述待定文本特征所标识发音元素的时长确定对应的目标表情特征。

第二方面，本申请实施例提供一种用于合成说话表情的模型训练装置，所述装置包括获取单元、第一确定单元、第二确定单元和第一训练单元：

所述获取单元，用于获取包含说话人面部动作表情和对应语音的视频；

所述获取单元还用于根据所述视频获取所述说话人的表情特征、所述语音的声学特征以及所述语音的文本特征；所述声学特征包括多个子声学特征；