[发明专利]利用机器学习的文本语音合成方法、装置及计算机可读存储介质

说明书

本公开涉及利用文本合成语音的方法及再生所合成的语音的装置。利用机器学习的文本语音合成(text‑to‑speech synthesis)方法包括：生成单一人工神经网络文本语音合成模型的步骤，上述单一人工神经网络文本语音合成模型以多个学习文本及与多个学习文本相应的语音数据为基础执行机器学习来生成；接收输入文本的步骤；接收说话人员的发声特征的步骤；以及向单一人工神经网络文本语音合成模型输入上述说话人员的发声特征，来生成与反映说话人员的发声特征的上述输入文本有关的输出语音数据的步骤。

技术领域

本公开涉及接收输入文本并合成与输入文本有关的语音的方法及再生所合成的语音的装置。

背景技术

语音(speech)为可传递人的想法的基础且有效的工具中的一种。基于语音的通讯向用户提供直观且便利的服务，一部分装置使用通过语音来相互作用的语音用户界面。现有的在语音用户界面实现语音应答的简单方法具有如下限制，即，虽为录音，仅可利用所录音的语音。这种装置无法对于未录音的语音提供应答服务，因此，使用装置的关联性降低。例如，在如苹果智能语音助手(Apple Siri)及亚马逊智能助手(Amazon Alexa)等的人工智能(AI)代理中，用户的查询(queries)是随机的，因此，为了对于用户查询的应答服务，需可以生成多种文章。在这种应用程序中，在将尽可能录音所有应答的情况下，消耗相当多的时间和费用。在此环境中，许多研究人员努力制造自然且快速的语音合成模型。并且，广泛研究可利用文本生成语音的称为语音合成(TTS，text-to-speech)的文本语音合成。

通常，语音合成技术包括衔接语音合成(Concatenative TTS)、参数语音合成(Parametric TTS)等多种语音合成方法。例如，在衔接语音合成中，将语音切割为音素等非常短的单位并存储，并可通过结合构成所要合成的文章的语音来合成语音，在参数语音合成中，通过参数(parameter)表达语音特征，可通过利用声码器(vocoder)将表示构成所要合成的文章的语音特征的参数合称为与文章相应的语音。

另一方面，最近，积极研究基于人工神经网(例如，深度神经网络)的语音合成方法，根据这种语音合成方法合成的语音包括比现有方法更自然的语音特征。但是，为了通过基于人工神经网的语音合成方法提供用于新的说话人员的语音合成服务，需要与其说话人员的声音相应的许多数据，并需要再次学习利用上述数据的人工神经网模型。

发明内容

要解决的技术问题

本公开的方法及装置涉及如下的语音合成方法及装置，即，在不输入与新的说话人员有关的许多数据或信息的情况下，提供与反映新的说话人员的发声特性的输入文本有关的输出语音数据。并且，本公开的方法及装置可通过在没有额外的机器学习的状态下扩展新的说话人员来提供语音合成服务。

技术方案

本公开一实施例的利用机器学习的文本语音合成(text-to-speech synthesis)方法可包括：生成单一人工神经网络文本语音合成模型的步骤，上述单一人工神经网络文本语音合成模型以多个学习文本及与多个学习文本相应的语音数据为基础执行机器学习来生成；接收输入文本的步骤；接收说话人员的发声特征的步骤；以及向单一人工神经网络文本语音合成模型输入说话人员的发声特征，来生成与反映说话人员的发声特征的输入文本有关的输出语音数据的步骤。

在本公开一实施例的利用机器学习的接收文本语音合成方法中，接收说话人员的发声特征的步骤可包括：接收语音样本的步骤；以及从语音样本提取表示说话人员的发声特征的嵌入向量的步骤。