[发明专利]一种结合集束搜索间隔最大化约束的文本摘要生成方法

摘要

本发明创新性地提出了结合集束搜索间隔最大化约束的文本摘要生成方法，缓解了模型在训练和应用中地不一致性，使得模型的训练尽量贴近于实际的应用场景，从而使得模型输出的文本摘要更接近于技术人员想要的摘要。具体是在模型训练过程中，加入了新的约束函数来与基础的交叉熵共同组成新的优化目标，通过这一约束函数来从深层改变模型的优化方向。

主权项

1.一种结合集束搜索间隔最大化约束的文本摘要生成方法，其特征在于：包括以下步骤：S1.构建循环神经网络模型；S2.向循环神经网络模型输入一批训练数据；S3.设循环神经网络模型输出了前k个词，即{y0,y1,…,yk‑1}；接下来输出的目标是yk，则针对词汇表V＝{v0,v1,…,v|v|‑1}，循环神经网络模型针对某一个词vg计算得到输出概率pk(vg)；S4.以目标词组y_ky_k+1的概率高于其他词组为目标，通过最大间隔化的优化函数对y_k进行求解；令候选词汇组为优化函数表示为：Lossmm＝max(0,γ+logp(ri)‑logp(ykyk+1))其中γ是为超参；计算交叉熵函数其中L为摘要y的文本长度，p(yk)为生成yk的概率；定义yk的目标函数为：Loss＝Lossce+λLossmm通过上式计算得到目标函数；S5.梯度下降优化目标函数；S6.验证循环神经网络模型效果；S7.判断循环神经网络模型是否收敛，若否则执行步骤S2，若是则结束训练，执行步骤S8；S8.输入一段文本；S9.通过集束搜索，扩展下一个可能出现的词；S10.通过步骤S9产生新的候选摘要，更新它们的概率；S11.保留概率最大的候选摘要生成新的集束；S12.判断集束中的候选摘要是否都输出了终止符，若是则执行步骤S14，若否则执行步骤S13；S13.判断产生的摘要统一长度是否超出循环神经网络模型限制，若是则执行步骤S14，若否则执行步骤S8；S14.从集束中挑选概率最大的摘要作为输出。