[发明专利]一种训练文本摘要生成模型的方法和装置

权利要求书

1.一种训练文本摘要生成模型的方法，其特征在于，包括：

确定与文本摘要生成模型的目标似然函数等价的等价目标函数；

所述等价目标函数由采用第一动态词汇表生成摘要的第一损失回报、采用第二动态词汇表生成摘要的第二损失回报、所述第一动态词汇表的生成概率、以及所述第二动态词汇表的生成概率确定；其中，所述第一动态词汇表包括词汇选择概率最大的多个词汇，所述第二动态词汇表包括根据词汇选择概率进行加权采样得到的词汇；所述词汇选择概率用于表征所述文本摘要生成模型的训练集中每一个词汇被选择输入采样器的概率；

计算所述等价目标函数的值，对所述等价目标函数的值进行优化，以训练所述文本摘要生成模型；

所述文本摘要生成模型为序列到序列模型；

所述等价目标函数为：

其中，所述D_m为所述第一动态词汇表；

所述Ds为所述第二动态词汇表；

所述R(D_m)为所述采用第一动态词汇表生成摘要的第一损失回报；

所述R(Ds)为采用所述第二动态词汇表生成摘要的第二损失回报；

所述A(Dm，X)为所述第一动态词汇表的生成概率；

所述A(Ds，X)为所述第二动态词汇表的生成概率；

所述X为输入所述文本摘要生成模型的文本；

所述函数为指示函数，当所述函数的自变量取值大于0时，函数的取值为1；当所述函数的自变量取值小于或等于0时，函数的取值为0。

2.根据权利要求的1所述的方法，其特征在于，所述词汇选择概率由以下式子确定：

其中，所述B_n为所述词汇选择概率；

所述n为词汇索引，1≤n≤|V|，|V|为所述文本摘要生成模型的训练集的词汇数；

h_t为所述文本摘要生成模型的编码端的最后输出向量；

为所述文本摘要生成模型的权重；

b_n为附加项；

δ为概率函数。

3.根据权利要求的1所述的方法，其特征在于，还包括：

采用训练完成的所述文本摘要生成模型预测待处理文本的摘要。

4.根据权利要求的3所述的方法，其特征在于，所述预测包括：

采用所述训练完成的文本摘要生成模型，预测所述待处理文本对应的第一动态词汇表所包含的词汇；

采用所述训练完成的文本摘要生成模型及所述第一动态词汇表所包含的词汇，预测所述待处理文本对应的摘要。

5.一种训练文本摘要生成模型的装置，其特征在于，包括：

等价目标函数确定模块，用于确定与文本摘要生成模型的目标似然函数等价的等价目标函数；所述等价目标函数由采用第一动态词汇表生成摘要的第一损失回报、采用第二动态词汇表生成摘要的第二损失回报、所述第一动态词汇表的生成概率、以及所述第二动态词汇表的生成概率确定；其中，所述第一动态词汇表包括词汇选择概率最大的多个词汇，所述第二动态词汇表包括根据词汇选择概率进行加权采样得到的词汇；所述词汇选择概率用于表征所述文本摘要生成模型的训练集中每一个词汇被选择输入采样器的概率；

训练模块，用于计算所述等价目标函数的值，对所述等价目标函数的值进行优化，以训练所述文本摘要生成模型；

所述文本摘要生成模型为序列到序列模型；

所述等价目标函数确定模块确定的等价目标函数为：

其中，所述D_m为所述第一动态词汇表；

所述Ds为所述第二动态词汇表；

所述R(D_m)为所述采用第一动态词汇表生成摘要的第一损失回报；

所述R(Ds)为采用所述第二动态词汇表生成摘要的第二损失回报；

所述A(Dm，X)为所述第一动态词汇表的生成概率；

所述A(Ds，X)为所述第二动态词汇表的生成概率；

所述X为输入所述文本摘要生成模型的文本；

所述函数为指示函数，当所述函数的自变量取值大于0时，函数的取值为1；当所述函数的自变量取值小于或等于0时，函数的取值为0。