[发明专利]声学特征提取方法、装置、设备及存储介质

权利要求书

1.一种声学特征提取方法，其特征在于，所述方法包括：

对目标音频片段进行分帧处理，得到多个音频帧；

提取各个所述音频帧分别对应的音高和音素，得到所述目标音频片段的音高序列信息、音素序列信息和音素位置信息；其中，所述音高序列信息包括各个所述音频帧对应的音高，所述音素序列信息包括各个所述音频帧对应的音素，所述音素位置信息包括各个所述音频帧对应的音素在所述目标音频片段中的位置编码；

对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述目标音频片段的合成属性信息；

对所述合成属性信息进行编解码处理，得到所述目标音频片段的声学特征。

2.根据权利要求1所述的方法，其特征在于，所述对所述音高序列信息、所述音素序列信息和所述音素位置信息进行合成处理，得到所述目标音频片段的合成属性信息，包括：

获取各个所述音频帧对应的音高的嵌入向量，得到第一嵌入向量序列；

获取各个所述音频帧对应的音素的嵌入向量，得到第二嵌入向量序列；

对所述音素位置信息进行线性变换处理，得到处理后的音素位置信息；

对所述第一嵌入向量序列、所述第二嵌入向量序列和所述处理后的音素位置信息进行合成处理，得到所述合成属性信息。

3.根据权利要求2所述的方法，其特征在于，所述获取各个所述音频帧对应的音高的嵌入向量，得到第一嵌入向量序列，包括：

对各个所述音频帧对应的音高分别进行数值转换处理，得到各个所述音频帧对应的转换后音高值；

对各个所述音频帧对应的转换后音高值分别进行取整处理，得到各个所述音频帧对应的取整值；

基于各个所述音频帧对应的取整值，确定各个所述音频帧对应的音高的嵌入向量；

合并各个所述音频帧对应的音高的嵌入向量，得到所述第一嵌入向量序列。

4.根据权利要求2所述的方法，其特征在于，所述合成属性信息还包括所述目标音频片段的发音者标识对应的嵌入向量；

所述获取各个所述音频帧对应的音素的嵌入向量，得到第二嵌入向量序列之后，所述方法还包括：

采用音素特征转换网络对所述第二嵌入向量序列进行转换处理，得到转换后的第二嵌入向量序列；其中，所述音素特征转换网络用于在对所述第二嵌入向量序列进行转换处理的过程中，去除发音者信息；

其中，所述转换后的第二嵌入向量序列用于生成所述合成属性信息。

5.根据权利要求1所述的方法，其特征在于，所述得到音素位置信息，包括：

对于每一个所述音频帧，获取所述音频帧在相同音素连续帧序列中的位置信息，所述相同音素连续帧序列是指与所述音频帧具有相同音素且连续的多个音频帧所形成的序列；

基于所述位置信息，生成所述音频帧对应的音素的位置编码；

合并各个所述音频帧对应的音素的位置编码，得到所述音素位置信息。

6.根据权利要求5所述的方法，其特征在于，所述基于所述位置信息，生成所述音频帧对应的音素的位置编码，包括：

基于所述位置信息和所述相同音素连续帧序列中包含的音频帧数量，确定所述位置编码的元参数；

基于所述元参数生成所述音频帧对应的音素的位置编码，所述位置编码是一个包括多个元素的向量。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述编解码处理由声学特征提取模型执行，所述声学特征提取模型包括编码网络和解码网络；

所述对所述合成属性信息进行编解码处理，得到所述目标音频片段的声学特征，包括：

采用所述编码网络对所述合成属性信息进行编码处理，得到编码特征向量；

对所述编码特征向量进行下采样处理，得到下采样后的编码特征向量；

采用注意力机制对所述下采样后的编码特征向量进行特征重组处理，得到重组后的编码特征向量；

采用所述解码网络对所述重组后的编码特征向量进行解码处理，得到所述目标音频片段的声学特征。