[发明专利]文本生成方法、装置、电子设备和计算机可读介质

说明书

本公开的实施例公开了文本生成方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：获取源语言的待处理语音；将源语言的待处理语音输入端到端语音翻译模型，得到待处理语音对应的目标语言的文本，其中，端到端语音翻译模型包括编码器和解码器，编码器包括一级编码器和二级编码器，一级编码器用于提取待处理语音的声学特征，二级编码器用于提取待处理语音的语义特征。该实施方式实现了提高文本生成质量。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及文本生成方法、装置、电子设备和计算机可读介质。

背景技术

近年来，端到端的语音翻译引起了广泛的关注。它直接将源语言的语音翻译成目标语言的文本。与基于单独训练的语音识别和翻译组件的传统管道式(pipeline)系统相比，端到端的语音翻译系统仍然存在性能上的差距。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了文本生成方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

第一方面，本公开的一些实施例提供了一种文本生成方法，包括：获取源语言的待处理语音；将待处理语音输入端到端语音翻译模型，得到待处理语音对应的目标语言的文本，其中，端到端语音翻译模型包括编码器和解码器，编码器包括第一编码器和第二编码器，第一编码器用于提取待处理语音的声学特征，第二编码器用于提取待处理语音的语义特征。

第二方面，本公开的一些实施例提供了一种文本生成装置，包括：获取单元，被配置成获取源语言的待处理语音；语音处理单元，被配置成将待处理语音输入端到端语音翻译模型，得到待处理语音对应的目标语言的文本，其中，端到端语音翻译模型包括编码器和解码器，编码器包括第一编码器和第二编码器，第一编码器用于提取待处理语音的声学特征，第二编码器用于提取待处理语音的语义特征。

第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述任一的方法。

第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述任一的方法。

本公开的上述各个实施例中的一个实施例具有如下有益效果：提出了一种全新的源语言的语音到目标语言的文本的生成方法。在此过程中，通过两级编码器分别提取声学特征和语义特征，从而在性能上与传统的管道式系统相当，同时克服了管道式系统的长延时、参数冗余、误差积累和语音特征损失的缺点。

附图说明

结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。

图1是根据本公开的一些实施例的文本生成方法的一个应用场景的示意图；

图2是根据本公开的文本生成方法的一些实施例的流程图；

图3是根据本公开的一些实施例中的通过转换层构建的端到端语音翻译模型的一个示例性结构示意图；

图4是根据本公开的文本生成方法的另一些实施例的流程图；

图5是根据本公开的一些实施例中的端到端语音翻译模型的一种示例性的训练方法的流程图；

图6是根据本公开的一些实施例中基于时序分类损失函数计算一级编码器的实际输出与期望输出的差值的示例性示意图；