[发明专利]文本回声消除

权利要求书

1.一种计算机实现的方法(400)，所述方法当在数据处理硬件(510)上被执行时使得所述数据处理硬件(510)施行操作，所述操作包括：

接收重叠音频信号(202)，所述重叠音频信号(202)包括与合成回放音频(154)的片段(156)重叠的由说话者(10)说出的音频；

将与所述合成回放音频(154)相对应的字符序列编码成文本嵌入表示(152)；

针对所述字符序列中的每个字符，使用所述文本嵌入表示(152)来生成相应的消除概率(222)，所述相应的消除概率(222)指示对应的字符与在所述重叠音频信号(202)中由所述说话者(10)说出的所述音频所重叠的所述合成回放音频(154)的所述片段(156)相关联的似然性；以及

使用消除神经网络(230)，通过从所述重叠音频信号(202)中移除所述合成回放音频(154)的所述片段(156)来生成增强音频信号(206)，所述消除神经网络(230)被配置成接收所述重叠音频信号(202)和针对所述字符序列中的每个字符所生成的所述相应的消除概率(222)作为输入。

2.根据权利要求1所述的计算机实现的方法(400)，其中，文本到语音TTS系统(150)将所述字符序列转换成包括所述合成回放音频(154)的合成语音。

3.根据权利要求1或2所述的计算机实现的方法(400)，其中，所述文本嵌入表示(152)包括单个、固定维文本嵌入向量。

4.根据权利要求1至3中的任一项所述的计算机实现的方法(400)，其中，将所述字符序列编码包括：将所述字符序列中的每个字符编码成对应的字符嵌入(214)以生成字符嵌入(214)的序列。

5.根据权利要求4所述的计算机实现的方法(400)，其中：

所述重叠音频信号(202)包括帧序列，所述帧序列中的每个帧和与合成回放音频(154)的所述片段(156)重叠的由所述说话者(10)说出的所述音频的一部分相对应；以及

针对所述字符序列中的每个字符生成所述相应的消除概率(222)包括：当所述对应的字符嵌入(214)与所述重叠音频信号(202)的所述帧序列中的所述帧中的一个帧相对应时，使用注意力机制(220)将权重(224)应用于所述对应的字符嵌入(214)。

6.根据权利要求1至5中的任一项所述的计算机实现的方法(400)，其中，所述操作进一步包括：在多个训练示例(302)上训练所述消除神经网络(230)，每个训练示例(302)包括：

与非合成语音相对应的真实值音频信号(310)；

包括所述真实值音频信号(310)的与合成音频信号重叠的训练重叠音频信号(320)；以及

所述合成音频信号的相应文本表示(330)，所述文本表示(330)包括字符序列。

7.根据权利要求1至6中的任一项所述的计算机实现的方法(400)，其中，文本编码神经网络的文本编码器(210)将与所述合成回放音频(154)相对应的所述字符序列编码成所述文本嵌入表示(152)。

8.根据权利要求7所述的计算机实现的方法(400)，其中，所述文本编码器(210)由文本到语音TTS系统(150)共享，所述TTS系统(150)被配置成从所述字符序列生成所述合成回放音频(154)。

9.根据权利要求1至8中的任一项所述的计算机实现的方法(400)，其中，所述消除神经网络(230)包括长短期记忆LSTM网络，所述长短期记忆LSTM网络具有多个LSTM层。

10.根据权利要求1至9中的任一项所述的计算机实现的方法(400)，其中，所述操作进一步包括：接收所述合成回放音频(154)的文本表示是可用的指示。