[发明专利]语音摘要生成模型训练方法、语音摘要生成方法及装置

权利要求书

1.一种语音摘要生成方法，其特征在于，所述语音摘要生成方法包括如下步骤：

输入原始语音音频，提取所述原始语音音频的原始音频特征；

对所述原始语音音频进行语音解码，获得原始语音文本；

将所述原始语音文本与所述原始音频特征进行多模态特征融合，形成多模态特征向量；

增强多模态特征向量的领域倾向性；

将所述多模态特征向量输入最优摘要生成模型，生成语音摘要；

其中，最优摘要生成模型通过语音摘要生成模型训练方法获得，所述语音摘要生成模型训练方法包括如下步骤：

提取样本文本的样本词语集合，以及提取样本音频数据的样本音频特征；

将所述样本词语集合、所述样本音频特征进行多模态特征融合，获得多模态特征向量；

根据样本文本所归属的领域，获得样本文本的领域权重；

将所述领域权重加入所述多模态特征向量；

将所述多模态特征向量输入摘要生成模型，通过逐步迭代训练获得最优摘要生成模型；

其中，所述样本音频特征包括Pitch特征、i-vector特征、x-vector特征，所述通过逐步迭代训练获得最优摘要生成模型的步骤包括：

学习所述多模态特征向量的关键语义，获得深层语义；

基于多头注意力机制进行建模，根据所述深层语义生成语音摘要；

提高语音摘要与样本文本的关联性；

判断摘要生成模型的训练损失是否小于设定的阈值，若是，摘要生成模型停止训练，生成最优摘要生成模型；

若否，则继续训练摘要生成模型；

其中，所述将所述多模态特征向量输入所述最优摘要生成模型，生成语音摘要的步骤还包括：

所述最优摘要生成模型包括编码器、解码器，所述多模态特征向量输入编码器中，经过注意力机制后从解码器输出，得到最终语音摘要；其中，编码器采用BiLSTM网络，解码器采用LSTM网络；

其中，在生成最优摘要生成模型之后，还包括如下模型评估步骤：

将所述摘要生成模型的生成结果和人工生成的参考摘要数据进行对比；

使用ROUGE-N评价指标对所述摘要生成模型进行评估得分，所述ROUGE-N计算方法如下公式所示：

其中，为预测结果与人工结果的n-gram重叠数量，为人工结果的n-gram数量，ROUGE-L计算时使用了机器译文C和参考译文S的最长公共子序列，计算公式如下：

其中，表示召回率，表示精确率；

其中，所述根据样本文本所归属的领域，获得样本文本的领域权重的步骤包括：

提取样本文本的领域特征；

将所述领域特征与领域词典对比，确定相似度最大的领域为样本文本的领域类型；

根据所述领域类型，增加特定领域的词汇的领域权重；

其中，增加特定领域的词汇的领域权重方法为：

其中，表示该词所在句子在文本中的位置中位数，是词语在文本中出现的次数，是文本中词语的总数， 是整个词的词频均值，是标准差，为通用领域下的权重，W为特定领域权重，权重参数。

2.根据权利要求1所述的语音摘要生成方法，其特征在于，所述增强多模态特征向量的领域倾向性的步骤包括：

提取原始语音文本的领域特征；

将所述领域特征与领域词典对比，确定相似度最大的领域为原始语音文本的领域类型；

根据所述领域类型，增加特定领域的词汇的领域权重；

将所述领域权重赋值到所述多模态特征向量。

3.根据权利要求1所述的语音摘要生成方法，其特征在于，所述将所述样本词语集合、所述样本音频特征进行多模态特征融合，获得多模态特征向量的步骤包括：

将所述样本词语集合嵌入向量，获得文本特征矩阵；

提取所述样本音频特征，获得音频特征矩阵；

将所述音频特征矩阵转换成与所述文本特征矩阵的向量相同的音频转换矩阵；

将所述音频转换矩阵、所述文本特征矩阵进行连接融合，获得多模态特征向量。