[发明专利]信息处理方法及装置

权利要求书

1.一种信息处理方法，其特征在于，所述方法包括：

确定音频信息和对应的文本信息；

确定所述音频信息对应的多个音频特征向量；

确定所述文本信息对应的多个文本特征向量；

将各所述音频特征向量和各所述文本特征向量输入注意力机制层，输出多个权重向量序列，各所述权重向量序列中包括对应于各所述音频特征向量的多个权重向量；

根据各所述权重向量序列、各所述音频特征向量和各所述文本特征向量确定多个对应于文本信息的参考韵律等级标记；

输出具有多个参考韵律等级标记的文本信息；

其中，所述确定所述音频信息对应的多个音频特征向量包括：

确定所述音频信息对应的多个频域信号；

将各所述频域信号依次输入梅尔滤波器和音频编码层进行编码得到对应的音频特征向量。

2.根据权利要求1所述的方法，其特征在于，所述确定所述文本信息对应的多个文本特征向量包括：

确定所述文本信息对应的音素序列，所述音素序列中包括顺序对应于所述文本信息时间维度的多个音素；

分别将用于表征各所述音素的独热特征依次输入文本嵌入层和文本编码层，输出对应的文本特征向量。

3.根据权利要求1所述的方法，其特征在于，所述将各所述音频特征向量和各所述文本特征向量输入注意力机制层，输出多个权重向量序列包括：

以迭代方式执行以下步骤：

在时间维度上依次确定各所述文本特征向量为目标文本特征向量；

将所述目标文本特征向量和各所述音频特征向量输入注意力机制层，输出基于所述目标文本特征向量确定的各音频特征向量对应的权重向量，以确定所述目标文本特征向量对应的权重向量序列。

4.根据权利要求3所述的方法，其特征在于，所述根据各所述权重向量序列、各所述音频特征向量和各所述文本特征向量确定多个对应于文本信息的参考韵律等级标记包括：

以迭代方式在多个权重向量序列中确定目标权重向量序列；

计算各所述音频特征向量和所述目标权重向量序列中对应权重向量的乘积，以确定对应的加权音频向量；

根据各所述加权音频向量和各所述文本特征向量确定对应于所述目标权重向量序列的参考韵律等级标记。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述加权音频向量和各所述文本特征向量确定对应于所述目标权重向量序列的参考韵律等级标记包括：

将各所述加权音频向量和各所述文本特征向量依次输入解码层和全连接层，得到对应于所述目标权重向量序列的参考韵律等级标记。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述文本信息对应的多个标准韵律等级标记；

计算所述文本信息对应的多个参考韵律等级标记和标准韵律等级标记的交叉熵损失，以对所述注意力机制层进行优化。

7.一种信息处理装置，其特征在于，所述装置包括：

信息确定模块，用于确定音频信息和对应的文本信息；

第一向量确定模块，用于确定所述音频信息对应的多个音频特征向量；

第二向量确定模块，用于确定所述文本信息对应的多个文本特征向量；

第三向量确定模块，用于将各所述音频特征向量和各所述文本特征向量输入注意力机制层，输出多个对应于各所述音频特征向量的权重向量；

韵律标记确定模块，用于根据各所述权重向量序列、各所述音频特征向量和各所述文本特征向量确定多个对应于文本信息的参考韵律等级标记；

信息输出模块，用于输出具有多个参考韵律等级标记的文本信息；

其中，所述第一向量确定模块还用于确定所述音频信息对应的多个频域信号，将各所述频域信号依次输入梅尔滤波器和音频编码层进行编码得到对应的音频特征向量。

8.一种计算机可读存储介质，用于存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-6中任一项所述的方法。

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-6中任一项所述的方法。