[发明专利]用于言语转换系统的分级编码器

说明书

本公开提供“用于言语转换系统的分级编码器”。描述了一种言语转换系统，其包括分级编码器和解码器。所述系统可以包括处理器和存储可由处理器执行的指令的存储器。指令可以包括：使用第二递归神经网络(RNN)(GRU1)和从谱图得到的第一组编码器向量作为第二RNN的输入，确定第二级联序列；通过将第二级联序列的堆叠高度加倍并且将长度减半来确定第二组编码器向量；使用第二组编码器向量，确定第三组编码器向量；并且使用注意力块对第三组编码器向量进行解码。

技术领域

本公开的各方面总体上涉及言语转换系统。

背景技术

自动言语识别(ASR)引擎可以接收音频作为输入，并且可以将音频分类为文本。而且，文本到言语(TTS)引擎可以接收文本并输出言语表示。然而，这种使用ASR和TTS引擎的过程遭受时间性损失。

发明内容

描述了一种言语转换系统，其包括分级编码器和解码器。所述系统可以包括处理器和存储可由处理器执行的指令的存储器。指令可以包括：使用第二递归神经网络(RNN)(GRU1)和从谱图得到的第一组编码器向量作为第二RNN的输入，确定第二级联序列；通过将第二级联序列的堆叠高度加倍并且将长度减半来确定第二组编码器向量；使用第二组编码器向量，确定第三组编码器向量；并且使用注意力块对第三组编码器向量进行解码。

根据上述至少一个示例，指令还包括，在确定第二级联序列之前：使用第一RNN(GRU0)和多个预处理的编码器向量作为第一RNN的输入，确定第一级联序列；并且通过将第一级联序列的堆叠高度加倍并将长度减半来确定第一组编码器向量。

根据上述至少一个示例，第一和第二RNN是门控递归单元(GRU)，并且每个都是双向传递。

根据上述至少一个示例，处理器还使用第三RNN，其中第三RNN接收第二组编码器向量作为输入，并提供第三组编码器向量作为输出。

根据上述至少一个示例，第三RNN是门控递归单元(GRU)并进行双向传递。

根据上述至少一个示例，谱图是梅尔谱图。

根据上述至少一个示例，谱图包括多个级联向量，其中谱图是言语话语的视觉表示。

根据上述至少一个示例，指令还包括，在确定第二组编码向量之前：基于输入并使用编码器预处理神经网络(PRENET)及卷积滤波器组和高速通道(CFBH)层，确定多个预处理的编码器向量；并且使用第一RNN(GRU0)和多个预处理的编码器向量作为第一RNN的输入，确定第一组编码器向量。

根据上述至少一个示例，指令还包括：在注意力块处，迭代地生成注意力上下文向量；并且提供注意力上下文向量。

根据上述至少一个示例，指令还包括：通过将第三组编码器向量与先前最佳匹配向量进行比较，从第三组编码器向量中确定最佳匹配向量；并且为注意力块提供最佳匹配向量，以确定更新后的注意力上下文向量。

根据上述至少一个示例，指令还包括：在注意力块处：接收第三组编码向量中的一个作为输入；在注意力块处：接收一组解码器隐藏向量中的至少一个作为输入；在注意力块处：确定注意力上下文向量；并且提供注意力上下文向量。

根据上述至少一个示例，第三组编码向量是一组隐藏的编码器向量。

根据上述至少一个示例，解码指令还包括：通过在注意力递归神经网络(RNN)处接收第一组解码器向量作为输入，确定一组隐藏的解码器向量，其中第一组解码器向量中的至少一个包括注意力上下文向量与多个预处理的解码器向量中的至少一个的级联；使用残差解码器堆叠和一组隐藏的解码器向量，确定一组解码器输出向量；将一组解码器输出向量中的至少一个反馈为解码器预处理神经网络(PRENET)的输入；并且使用解码器PRENET来确定和更新多个预处理的解码器向量。