[发明专利]韵律边界标注方法、装置、设备、介质及程序产品

权利要求书

1.一种韵律边界标注方法，其特征在于，所述方法包括：

获取目标文本和目标音频，所述目标文本的文本内容与所述目标音频的音频内容匹配，所述目标文本为待进行韵律边界识别的文本；

以字符为分析粒度提取所述目标文本的文本韵律特征表示；以及，以发声内容为分析基础提取所述目标音频的音频韵律特征表示；

将所述文本韵律特征表示和所述音频韵律特征表示进行融合，得到融合韵律特征表示；

基于所述融合韵律特征表示对所述目标文本进行韵律边界预测，得到与所述目标文本等长的韵律边界标注结果，所述韵律边界标注结果中包括以字符为粒度在所述目标文本上的进行划分的韵律边界。

2.根据权利要求1所述的方法，其特征在于，所述韵律边界包括字边界、语法词边界、韵律词边界、韵律短语边界、语调短语边界中的至少一种；

所述字边界是对所述目标文本中的字符进行划分的边界；

所述语法词边界是对所述目标文本中的语法词进行划分的边界；

所述韵律词边界是对所述目标文本中的韵律词进行划分的边界；

所述韵律短语边界是对所述目标文本中的韵律短语进行划分的边界；

所述语调短语边界是对所述目标文本中的语调短语进行划分的边界。

3.根据权利要求2所述的方法，其特征在于，所述基于所述融合韵律特征表示对所述目标文本进行韵律边界预测，得到与所述目标文本等长的韵律边界标注结果，包括：

基于所述融合韵律特征表示对所述目标文本进行韵律边界预测，确定所述目标文本中的字符对应的韵律边界类型；

以所述韵律边界类型对所述目标文本中的字符进行标注，得到与所述目标文本等长的韵律边界标注结果。

4.根据权利要求1至3任一所述的方法，其特征在于，所述以字符为分析粒度提取所述目标文本的文本韵律特征表示，包括：

对所述目标文本进行字符分割，得到所述目标文本中的多个字符数据；

提取多个字符数据分别对应的字向量；

将所述字向量输入文本编码器，输出所述目标文本的文本韵律特征表示，所述文本编码器是通过文本语料库预训练得到的编码器。

5.根据权利要求1至3任一所述的方法，其特征在于，所述以发声内容为分析基础提取所述目标音频的音频韵律特征表示，包括：

提取所述目标音频的频域特征表示和音高特征表示，所述频域特征表示和所述音高特征表示用于指示所述目标音频的发声内容；

对所述频域特征表示和所述音高特征表示进行拼接，得到目标特征表示；

将目标特征表示输入音频编码器，输出得到所述目标音频的音频韵律特征表示，所述音频编码器是通过语音数据集预训练得到的编码器。

6.根据权利要求5所述的方法，其特征在于，所述将目标特征表示输入音频编码器，输出得到所述目标音频的音频韵律特征表示，包括：

将所述目标特征表示输入所述音频编码器，得到第一语音后验概率图，所述第一语音后验概率图用于指示所述目标音频的音素级别后验概率；

基于所述第一语音后验概率图，输出得到所述目标音频的音频韵律特征表示。

7.根据权利要求5所述的方法，其特征在于，所述将目标特征表示输入音频编码器，输出得到所述目标音频的音频韵律特征表示，包括：

将所述目标特征表示输入所述音频编码器，得到第二语音后验概率图，所述第二语音后验概率图用于指示所述目标音频的字级别后验概率；

基于所述第二语音后验概率图，输出得到所述目标音频的音频韵律特征表示。

8.根据权利要求7所述的方法，其特征在于，所述目标音频分割为多个音频片段分别进行分析，所述目标特征表示中包括目标音频片段对应的片段特征表示；

所述将所述目标特征表示输入所述音频编码器，得到第二语音后验概率图，包括：

将所述片段特征表示输入所述音频编码器，得到所述片段特征表示对应的后验概率子图；

将多个音频片段分别对应的后验概率子图进行整合，得到所述第二语音后验概率图。