[发明专利]一种训练文本摘要生成模型的方法和装置

说明书

本发明实施例提出一种训练文本摘要生成模型的方法和装置，其中方法包括：确定与文本摘要生成模型的目标似然函数等价的等价目标函数；所述等价目标函数由采用第一动态词汇表生成摘要的第一损失回报、采用第二动态词汇表生成摘要的第二损失回报、所述第一动态词汇表的生成概率、以及所述第二动态词汇表的生成概率确定；其中，所述第一动态词汇表包括词汇选择概率最大的多个词汇，所述第二动态词汇表包括根据词汇选择概率进行加权采样得到的词汇；计算所述等价目标函数的值，对所述等价目标函数的值进行优化，以训练所述文本摘要生成模型。本发明实施例能够使文本摘要生成的结果更快、生成质量更高。

技术领域

本发明涉及计算机技术领域，尤其涉及一种训练文本摘要生成模型的方法和装置。

背景技术

现有的文本摘要生成技术主要有两大类。一种称为抽取式摘要生成方式，即从原文中抽取部分文本组合成摘要。另一种称为理解式摘要生成方式，即像人一样去总结文章内容，然后生成文章的摘要。第二种方法目前已经取得了相当大的进展，且更加符合摘要的本质，因此变得越来越流行。在理解式摘要生成方法中，绝大部分是使用了深度学习的方法，该方法在编码阶段将文章内容高度抽象化，概括文章最核心的部分，最后解码将该概括信息进行整合输出。理解式摘要生成方法一般采用基于注意力机制的序列到序列(Seq2Seq，Sequence to Sequence)深度学习文本摘要生成模型。

在解码阶段，现有的深度学习方法使用的解码词汇是固定的，当文本摘要生成模型使用的词汇量比较大时(中文分词后在数十万量级)，解码的计算量巨大，并且耗时长。例如，基于集束搜索(beam-search)解码方法，解码时间会随着集束(beam)的增长变得非常长。例如，当beam＝20，文本摘要生成模型使用词汇量v＝1万时，每次输出的搜索范围是20万；当词汇量v＝10万时，搜索范围就变成了200万，二者相差一个量级。一般生成摘要的长度在50-100字，这种千万量级的计算在时间差距上非常明显。另外，解码时巨大的词汇搜索空间也使得文本摘要生成模型在做生成词汇选择时变得困难，导致最终生成的摘要质量差。

发明内容

本发明实施例提供一种训练文本摘要生成模型的方法及装置，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种训练文本摘要生成模型的方法，包括：

确定与文本摘要生成模型的目标似然函数等价的等价目标函数；

所述等价目标函数由采用第一动态词汇表生成摘要的第一损失回报、采用第二动态词汇表生成摘要的第二损失回报、所述第一动态词汇表的生成概率、以及所述第二动态词汇表的生成概率确定；其中，所述第一动态词汇表包括词汇选择概率最大的多个词汇，所述第二动态词汇表包括根据词汇选择概率进行加权采样得到的词汇；

计算所述等价目标函数的值，对所述等价目标函数的值进行优化，以训练所述文本摘要生成模型。

在一种实施方式中，所述文本摘要生成模型为序列到序列模型；

所述等价目标函数为：

其中，所述D_m为所述第一动态词汇表；

所述Ds为所述第二动态词汇表；

所述R(D_m)为所述采用第一动态词汇表生成摘要的第一损失回报；

所述R(Ds)为采用所述第二动态词汇表生成摘要的第二损失回报；

所述A(Dm，X)为所述第一动态词汇表的生成概率；

所述A(Ds，X)为所述第二动态词汇表的生成概率；

所述X为输入所述文本摘要生成模型的文本；