[发明专利]一种模型训练方法、合成说话表情的方法和相关装置

摘要

本申请实施例公开了一种用于合成说话表情的模型训练方法，根据包含了说话人面部动作表情和对应语音的视频得到表情特征、声学特征和文本特征。由于声学特征和文本特征均是根据同一视频得到的，故根据声学特征确定出文本特征所标识发音元素的时间区间和时长。根据文本特征所标识发音元素的时间区间和时长，以及表情特征确定第一对应关系，根据所述第一对应关系训练表情模型。该表情模型可以对该文本特征中具有不同时长的同一发音元素确定出不同的子表情特征，增加了说话表情的变化样式，根据表情模型所确定目标表情特征生成的说话表情，由于对于同一个发音元素说话表情具有不同的变化样式，从而一定程度上改善了说话表情变化的过度不自然的情况。

主权项

1.一种用于合成说话表情的模型训练方法，其特征在于，获取包含说话人面部动作表情和对应语音的视频；根据所述视频获取所述说话人的表情特征、所述语音的声学特征以及所述语音的文本特征；所述声学特征包括多个子声学特征；根据所述文本特征和所述声学特征确定所述文本特征所标识发音元素的时间区间和时长；所述文本特征所标识的任一个发音元素为目标发音元素，所述目标发音元素的时间区间为所述目标发音元素在所述声学特征中所对应子声学特征在所述视频中的时间区间，所述目标发音元素的时长为所述目标发音元素所对应子声学特征的持续时间；根据所述文本特征所标识发音元素的时间区间和时长，以及所述表情特征，确定第一对应关系，所述第一对应关系用于体现发音元素的时长与发音元素的时间区间在所述表情特征中对应的子表情特征间的对应关系；根据所述第一对应关系训练表情模型；所述表情模型用于根据待定文本特征和所述待定文本特征所标识发音元素的时长确定对应的目标表情特征。