[发明专利]语音翻译方法、装置、设备和存储介质

说明书

本发明公开了一种语音翻译方法、装置、设备和存储介质。该方法包括：通过端到端语音翻译模型的编码器提取待处理语音的语义特征；通过所述端到端语音翻译模型的解码器，从所述语义特征中解码出对应的源语言文本；通过所述端到端语音翻译模型的解码器，根据所述源语言文本解码所述语义特征，得到对应的文本序列，所述文本序列包括所述源语言文本和所述源语言文本对应的目标语言文本；拆分所述文本序列，得到所述待处理语音对应的目标语言文本。该方法能够缓解解码器的解码压力以及改善解码器的解码性能，从而提高了端到端语音翻译模型的预测性能。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种语音翻译方法、装置、设备和存储介质。

背景技术

随着神经网络的不断发展以及数据的爆炸式增长，端到端语音翻译技术应运而生。端到端语音翻译建立了源语言语音信号到目标语言文本的映射关系，进而实现了从原始语音到目标译文的翻译。但是，目前的端到端语音翻译模型的预测性能仍达不到期望要求。

发明内容

本发明提供一种语音翻译方法、装置、设备和存储介质，以提高语音翻译的预测性能。

第一方面，本发明实施例提供了一种语音翻译方法，包括：

通过端到端语音翻译模型的编码器提取待处理语音的语义特征；

通过所述端到端语音翻译模型的解码器，从所述语义特征中解码出对应的源语言文本；

通过所述端到端语音翻译模型的解码器，根据所述源语言文本解码所述语义特征，得到对应的文本序列，所述文本序列包括所述源语言文本和所述源语言文本对应的目标语言文本；

拆分所述文本序列，得到所述待处理语音对应的目标语言文本。

第二方面，本发明实施例还提供了一种语音翻译装置，包括：

编码模块，用于通过端到端语音翻译模型的编码器提取待处理语音的语义特征；

第一解码模块，用于通过所述端到端语音翻译模型的解码器，从所述语义特征中解码出对应的源语言文本；

第二解码模块，用于根据所述源语言文本解码所述语义特征，得到对应的文本序列，所述文本序列包括所述源语言文本和所述源语言文本对应的目标语言文本；

拆分模块，用于拆分所述文本序列，得到所述待处理语音对应的目标语言文本。

第三方面，本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现本发明第一方面提供的语音翻译方法的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本发明第一方面提供的语音翻译方法的步骤。

本发明实施例提供的语音翻译方法、装置、设备和存储介质，电子设备通过端到端语音翻译模型的编码器提取待处理语音的语义特征，通过端到端语音翻译模型的解码器，从语义特征中解码出对应的源语言文本，以及通过端到端语音翻译模型的解码器，根据源语言文本解码上述语义特征，得到对应的文本序列，接着拆分该文本序列，得到待处理语音对应的目标语言文本。在对待处理语音的语义特征解码时，端到端语音翻译模型的解码器能够先从语义特征中解码出源语言文本，再基于已知的源语言文本继续解码语义特征，即通过连续解码机制实现了先预测较为简单的源语言文本，再预测相对较难的目标语言文本，缓解了解码器的解码压力；并且在预测目标语言文本时，对应的源语言文本是已知的，改善了解码器的解码性能，从而提高了端到端语音翻译模型的预测性能。

附图说明