[发明专利]语音合成中的数据标注方法、装置和系统

说明书

本申请公开了一种语音合成中的数据标注方法、装置和系统。其中，该方法包括：获取录音音频和录音文本；通过对录音音频和录音文本进行录音标注处理，得到录音标注数据，其中，录音标注数据包括以下至少之一：发音标注数据、韵律标注数据、音素边界标注数据。本申请解决了在进行语音合成的过程中需要人工参与数据标注，导致无法在线实时完成语音合成的技术问题。

技术领域

本申请涉及语音处理领域，具体而言，涉及一种语音合成中的数据标注方法、装置和系统。

背景技术

文语转换技术(Text To Speech，简称TTS)是一种语音合成技术，该技术可以将文本转换为语音。在进行语音合成时，需要获取录音音频、录音文本、以及录音标注数据，然后根据录音音频、录音文本、以及录音标注数据进行语音合成。其中，录音标注数据主要包括发音标注、韵律标注、音素边界标注等。

在传统的TTS数据标注中，需要人工对上述的发音标注、韵律标注、音素边界标注等录音标注数据进行标注。虽然现有技术中也存在自动标注工具，但该自动标注工具仅应用到了人工标注阶段中的某个阶段，仍无法实现对录音标注数据的完全自动标注，而在语音合成中人工标注数据的方式增加了音库的制作成本。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种语音合成中的数据标注方法、装置和系统，以至少解决在进行语音合成的过程中需要人工参与数据标注，导致无法在线实时完成语音合成的技术问题。

根据本申请实施例的一个方面，提供了一种语音合成中的数据标注方法，包括：获取录音音频和录音文本；通过对录音音频和录音文本进行录音标注处理，得到录音标注数据，其中，录音标注数据包括以下至少之一：发音标注数据、韵律标注数据、音素边界标注数据。其中，通过对录音音频和录音文本进行录音标注处理，得到录音标注数据包括：通过将录音文本转化为结构化韵律文本，得到发音标注数据和韵律停顿预测结果；通过对录音音频和录音文本进行语音识别处理以及通过对录音音频进行语音检测处理，得到音素边界标注数据；采用音素边界标注数据对韵律停顿预测结果进行修正处理，得到韵律标注数据。

根据本申请实施例的另一方面，还提供了一种语音合成中的数据标注装置，包括：第一标注模块，用于获取录音文本，并将录音文本转换为结构化韵律文本；第二标注模块，用于获取录音音频以及录音文本，并对录音音频以及录音文本进行语音识别，得到第一处理结果，其中，第一处理结果用于描述录音音频中每个音素的时间边界信息；第三标注模块，用于获取录音音频，并对录音音频进行信号处理，得到第二处理结果，其中，第二处理结果用于描述从录音音频中检测到的语音部分信息与静音部分信息；处理模块，用于执行以下操作至少之一：根据结构化韵律文本确定发音标注数据；根据第一处理结果和第二处理结果确定音素边界标注数据；根据结构化韵律文本和音素边界标注数据确定韵律标注数据。

根据本申请实施例的另一方面，还提供了一种语音合成中的数据标注装置，包括：获取模块，用于获取录音音频和录音文本；标注模块，用于通过对录音音频和录音文本进行录音标注处理，得到录音标注数据，其中，录音标注数据包括以下至少之一：发音标注数据、韵律标注数据、音素边界标注数据；其中，标注模块包括：转化模块，用于通过将录音文本转化为结构化韵律文本，得到发音标注数据和韵律停顿预测结果；第一处理模块，用于通过对录音音频和录音文本进行语音识别处理以及通过对录音音频进行语音检测处理，得到音素边界标注数据；第二处理模块，用于采用音素边界标注数据对韵律停顿预测结果进行修正处理，得到韵律标注数据。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的语音合成中的数据标注方法。

根据本申请实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的语音合成中的数据标注方法。