[发明专利]融合文本语义特征的语音翻译方法、系统、设备

权利要求书

1.一种融合文本语义特征的语音翻译方法，其特征在于，该方法包括以下步骤：

S10，获取待翻译的源语言语音数据，作为输入数据；

S20，利用滤波器组提取所述输入数据对应的语音特征序列；并通过预构建的第一编码器获取所述语音特征序列中语音特征对应的声学表征；

S30，通过预构建的词嵌入矩阵将所述声学表征的隐向量映射到源语言词表，并通过softmax函数得到输出标签序列中各输出标签的概率分布；所述输出标签序列中每个时刻的输出标签对应语音特征序列每个时刻被识别为源语言词表中的词语；

S40，选取所述输出标签序列每个时刻概率分布中最大概率对应的输出标签并判断其是否为空白标签或连续重复标签，若是，则将该输出标签对应时刻的声学表征进行过滤处理；通过预构建的第二编码器得到过滤后的声学特征对应的语义表征；

S50，基于所述语义表征，通过预构建的解码器得到所述源语言语音数据对应的目标语言翻译文本。

2.根据权利要求1所述的融合文本语义特征的语音翻译方法，其特征在于，所述第一编码器、第二编码器基于自注意力机制、前馈神经网络构建；所述解码器基于自注意力机制、跨注意力机制及前馈神经网络构建；所述跨注意力机制为解码器到第二编码器的自注意力机制。

3.根据权利要求2所述的融合文本语义特征的语音翻译方法，其特征在于，所述第一编码器、所述第二编码器与所述解码器的训练方法为：

获取源语言语音数据及对应的源语言转录文本、目标语言翻译参考文本，构建训练数据；

基于所述训练集中的源语言语音数据，通过步骤S20-S30的方法，获取第一输出标签序列中各输出标签的概率分布；所述第一输出标签序列中每个时刻的输出标签对应语音特征序列每个时刻被识别为源语言词表中的词语；

从第一输出标签序列中选取所有通过删除空白标签和/或连续重复标签后能还原回源语言转录文本的标签序列作为第二输出标签序列，并构建第二输出标签序列集合；将各第二输出标签序列中各输出标签对应的概率相乘作为第二输出标签序列的概率；将所述第二输出标签序列集合中各第二输出标签序列的概率求和取负对数作为连接时序分类损失；

选取第一输出标签序列每个时刻概率分布中最大概率对应的输出标签，并通过步骤S40的方法得到过滤后的声学特征对应的语义表征，作为第一语义表征；

对所述源语言转录文本，通过所述词嵌入矩阵获取其每个词语对应的词向量表示，并通过预构建的第二编码器得到对应的语义表征，作为第二语义表征；计算所述第一语义表征与所述第二语义表征差的L2范数，作为距离损失；

基于所述第一语义表征，通过所述解码器得到目标语言翻译文本，作为第一目标语言翻译文本；基于所述第一目标语言翻译文本、所述目标语言翻译参考文本，计算语音翻译的交叉熵损失；

基于所述第二语义表征，通过所述解码器得到目标语言翻译文本，作为第二目标语言翻译文本；基于所述第二目标语言翻译文本、所述目标语言翻译参考文本，计算文本翻译的交叉熵损失；

将连接时序分类损失、距离损失、语音翻译的交叉熵损失和文本翻译的交叉熵损失进行加和，得到总损失；基于所述总损失，通过梯度反向传播算法更新第一编码器、第二编码器和解码器的参数；

循环执行上述的训练过程，直至得到训练好的第一编码器、第二编码器和解码器。

4.根据权利要求1所述的融合文本语义特征的语音翻译方法，其特征在于，“利用滤波器组提取所述输入数据对应的语音特征序列”，其方法为：

将源语言语音数据按照固定长度切分，切分后，对每帧源语言语音数据进行预加重处理；

将窗函数与预加重处理后的源语音数据相乘，并通过离散傅里叶变换方法进行时频信号的转换，得到源语音数据对应的功率谱；

利用滤波器组对所述功率谱进行滤波处理，得到语音特征向量；并将语音特征向量的对数作为最终的语音特征；

将每个时刻的语音特征及其后两个时刻的语音特征进行拼帧操作，并每隔设定时长采样一次；

对采样后的每个时刻的语音特征进行归一化处理，处理后构建语音特征序列。