[发明专利]融合文本语义特征的语音翻译方法、系统、设备

说明书

本发明属于机器翻译领域，具体涉及一种融合文本语义特征的语音翻译方法、系统、设备，旨在解决现有语音翻译方法难以融合不同模态之间的信息，无法充分利用语音识别和机器翻译领域的数据，导致翻译性能较差的问题。本发明方法包括获取待翻译的源语言语音数据；提取源语言语音数据对应的语音特征序列；并获取各语音特征对应的声学表征；将声学表征的隐向量映射到源语言词表，并通过softmax函数得到语音特征序列每个时刻被识别为源语言词表中的词语的概率；对声学表征进行过滤处理，并通过第二编码器得到过滤后的声学特征对应的语义表征；基于语义表征，通过解码器得到源语言语音数据对应的目标语言翻译文本。本发明提高了语音翻译的性能。

技术领域

本发明属于机器翻译领域，具体涉及一种融合文本语义特征的语音翻译方法、系统、设备。

背景技术

随着全球化信息社会的发展，人们在经济、商贸、体育、文化、旅游等各个领域的交流日益频繁，不同语言之间的信息交流已经成为信息交往中的重要组成部分，随之而来的各种语言服务，尤其是翻译服务的需求也越来越广泛。由于国际会议、跨国商业会谈、跨境电商、出国旅游等各个领域频繁使用口语、语音作为信息交流的直接媒介，语音翻译已经成为人们迫切需要而备受关注的技术。语音翻译服务是指将一种自然语言(一般称为源语言)的语音翻译为另一种自然语言(一般称为目标语言)的语音或文本的服务。近年来，随着人工智能技术在语音识别、文本机器翻译等领域蓬勃发展，与之相关联的语音翻译技术逐渐成为学术界和企业界竞相研究的热点。

为了提供语音翻译服务，目前的语音翻译系统通常由语音识别、文本机器翻译等多个模块级联组成。这种系统构建方法简单、模块集成度高，是目前工业界采用的主流范式。但是这种级联系统面临着噪声容错、断句标点、时间延迟等一系列技术难题，亟需一种全新的解决方案。端到端语音翻译技术在理论上可以缓解传统级联系统面临的缺陷，它通过构造一个完整的神经网络模型，联合优化语音识别、识别后处理和机器翻译，建立源语言语音序列到目标语言文本序列的直接映射关系，进而实现从源语言语音到目标语言翻译文本的翻译过程。

目前端到端的语音翻译相关研究仍处于早期探索的阶段。现有方法只是简单得将基于编、解码器结构的端到端语音识别或者机器翻译模型应用到语音翻译任务上，未能充分利用语音识别和机器翻译领域已积累的大量数据，也未考虑语音和文本模态之间的区别，导致翻译性能较差。为了解决这些问题，本发明提出了一种融合文本语义特征的语音翻译方法。

发明内容

为了解决现有技术中的上述问题，即为了解决现有语音翻译方法难以融合不同模态之间的信息，无法充分利用语音识别和机器翻译领域的数据，导致翻译性能较差的问题，本发明第一方面，提出了一种融合文本语义特征的语音翻译方法，该方法包括以下步骤：

S10，获取待翻译的源语言语音数据，作为输入数据；

S20，利用滤波器组提取所述输入数据对应的语音特征序列；并通过预构建的第一编码器获取所述语音特征序列中各语音特征对应的声学表征；

S30，通过预构建的词嵌入矩阵将所述声学表征的隐向量映射到源语言词表，并通过softmax函数得到输出标签序列中各输出标签的概率分布；所述输出标签序列中每个时刻的输出标签对应语音特征序列每个时刻被识别为源语言词表中的词语；

S40，选取所述输出标签序列每个时刻概率分布中最大概率对应的输出标签并判断其是否为空白标签或连续重复标签，若是，则将该输出标签对应时刻的声学表征进行过滤处理；通过预构建的第二编码器得到过滤后的声学特征对应的语义表征；

S50，基于所述语义表征，通过预构建的解码器得到所述源语言语音数据对应的目标语言翻译文本。

在一些优选的实施方式中，所述第一编码器、第二编码器基于自注意力机制、前馈神经网络构建；所述解码器基于自注意力机制、跨注意力机制及前馈神经网络构建；所述跨注意力机制为解码器到第二编码器的自注意力机制。