[发明专利]音频摘要模型训练方法、系统、电子设备和存储介质

权利要求书

1.一种音频摘要模型训练方法，包括：

同时训练一个判别器和一个音频摘要模型，其中，所述判别器用于对对所述音频摘要模型输出的音频摘要和标注文字进行判别得到条件c，其中，所述条件c用于表征所述音频摘要与所述标注文字的相似度；

通过对所述判别器和所述音频摘要模型进行对抗训练以使所述音频摘要模型能够输出给定条件的音频摘要。

2.根据权利要求1所述的方法，其中，所述通过对所述判别器和所述音频摘要模型进行对抗训练包括：

利用所述音频摘要模型输出的音频摘要和所述标注文字之间的交叉熵损失以及所述条件c和真实条件c的条件损失对所述音频摘要模型和所述神经网络判别器进行对抗训练。

3.根据权利要求2所述的方法，其中，所述音频摘要模型包括音频编码器和文本解码器，所述音频编码器用于将输入音频编码成音频嵌入序列，所述文本解码器根据所述音频嵌入序列和所述判别器的条件c生成单词概率。

4.根据权利要求3所述的方法，其中，所述通过对所述判别器和所述音频摘要模型进行对抗训练包括：

在所述对抗训练的过程中采用第一阶段和第二阶段交替进行，

其中，所述第一阶段包括：仅更新所述音频摘要模型的参数，固定所述判别器的参数，所述音频摘要模型使用音频输入和所述条件c估计单词概率，使用所述交叉熵损失和所述条件损失进行训练；

所述第二阶段包括：固定所述音频摘要模型的参数，仅更新所述判别器的参数，所述判别器在所述标注文字和所述音频摘要模型的输出上进行训练。

5.根据权利要求1-4中任一项所述的方法，其中，所述音频编码器包括一个固定的14层卷积神经网络特征提取器和一个可训练的三层双向门控循环单元编码器，所述文本解码器包括单向单层门控循环单元，所述文本解码器采用注意力机制对音频嵌入序列进行聚合。

6.根据权利要求1-4中任一项所述的方法，其中，所述判别器包括使用双层双向长短时记忆对输入的音频摘要进行编码。

7.根据权利要求1-6中任一项所述的方法，还包括：

获取用户给定的条件c，将所述音频嵌入序列和所述用户给定的条件c输入训练后的所述文本解码器，输出符合所述用户给定的条件c的音频摘要。

8.一种音频摘要系统，包括：

根据权利要求1-7中任一项所述的音频编码器；

根据权利要求1-7中任一项所述的文本解码器；

根据权利要求1-7中任一项所述的判别器。

9.一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至8任一项所述方法的步骤。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至8任一项所述方法的步骤。