[发明专利]一种降低端到端语音翻译跨模态跨语言障碍的方法及系统

说明书

本发明属于语音翻译技术领域，公开了一种降低端到端语音翻译跨模态跨语言障碍的方法及系统，所述降低端到端语音翻译跨模态跨语言障碍的系统，包括语音编码器和文本解码器；所述降低端到端语音翻译跨模态跨语言障碍的方法包括：数据集以及数据处理；模型预训练；模型训练；模型解码。本发明提供的降低端到端语音翻译跨模态跨语言障碍的方法，能够使得解码端的每一层都有一个特定的声学表示，在没有引入参数和避免错误传递的情况下达到降低端到端语音翻译跨模态跨语言障碍的目的。本发明的实现以神经网络为基础，提出的降低端到端语音翻译跨模态跨语言障碍的方法旨在不引入额外参数和避免错误传递的情况下提高语音翻译的质量。

技术领域

本发明属于语音翻译技术领域，尤其涉及一种降低端到端语音翻译跨模态跨语言障碍的方法及系统。

背景技术

目前，语音翻译是研究将一种语言的语音翻译成为另一种语言的文本的一种技术，此技术有很多应用场景如：跨国会议、商业会谈、跨境客服、出国旅游，电影配音/字幕制作等。语音翻译的实现主要有两种范式--级联范式和端到端范式。传统的语音翻译是采用级联的方式，即一个语音识别模型串联一个机器翻译模型而成。随着研究技术的发展以及研究人员对于语音翻译认知的不断完善，端到端语音翻译逐渐成为研究热点。端到端语音翻译在模型上采用编码器-解码器架构，源端声学信号通过编码器得到高维声学状态，解码端根据编码得到的声学状态解码到另一种语言的文本。

语音翻译的实现会面临两个问题：一、输入的是声学信号，输出的是文本表示，即跨模态问题。一般来说，在同一个句子下，声学的表示长度要远大于文本表示。二、输入的是一种语言，输出的是另一种语言，即跨语言问题。不同语言间的差异使得解码端在生成目标词时需要找出源语言各个状态序列间全局的的信息。

语音翻译任务同时面临跨语言跨模态的问题。使得语音翻译要比跨模态任务语音识别和跨语言任务机器翻译学习更为复杂的映射关系。在端到端语音翻译上这种复杂的关系需要一步解决，这就需要大量的数据来进行学习训练。然而，由于收集音频文件以及标注的成本比较昂贵。目前端到端语音翻译的数据集很有限，数据集的规模也远小于机器翻译数据集。这使得端到端语音翻译不能很好地克服同时面临的跨模态跨语言问题。

目前使用最广泛的端到端语音翻译模型是基于Transformer结构的，由一个声学编码器和一个文本解码器组成，使用卷积神经网络(CNN)+Transformer的方式。语音特征在经过声学编码器后得到一个固定的表示，解码端的每层需要源端的信息时都是基于此固定的语音状态序列。因此语音编码器就需要有很好的表征能力，既要有声学表示能力也要有语义表示能力。在当前语音翻译数据集比较匮乏的情况下，由于训练数据量的不足导致很难得到一个好的深声学编码器。

为了进一步提高翻译质量，已有的方法包括引入其他的子模块将跨模态和跨语言问题分开看待，并运用语音识别或者机器翻译的数据来进行辅助训练。以此来得到一个比较不错的供解码使用的状态序列，达到降低跨语言跨模态障碍目的。然而，在另一方面引入了其他参数，并在不同程度上引入了错误传递。

通过上述分析，现有技术存在的问题及缺陷为：

(1)由于收集音频文件以及标注的成本比较昂贵，目前端到端语音翻译的数据集很有限，数据集的规模也远小于机器翻译数据集，这使得端到端语音翻译不能很好地克服同时面临的跨模态跨语言问题。

(2)语音编码器就需要有很好的表征能力，既要有声学表示能力也要有语义表示能力；在当前语音翻译数据集比较匮乏的情况下，由于训练数据量的不足导致很难得到一个好的深声学编码器。

(3)已有的方法包括引入其他的子模块将跨模态和跨语言问题分开看待，并运用语音识别或者机器翻译的数据来进行辅助训练，但在另一方面引入了其他参数，并在不同程度上引入了错误传递。

解决以上问题及缺陷的难度为：在当前端到端语音翻译数据集匮乏的情况下并且保持端到端语音翻译的优势下提高翻译的质量是一项极具挑战的任务。