[发明专利]基于Seq2seq模型的摘要生成方法

说明书

本发明涉及一种基于Seq2seq模型的摘要生成方法，属于自然语言生成领域。该方法首先将待生成摘要的文本转化为词向量序列；然后将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要。进一步的，对Seq2seq模型中的Encoder编码模型进行了改进，重新定义了LSTM隐层单个细胞节点的输入门和遗忘门结构；对Encoder训练过程中用到的损失函数进行了优化，将训练数据分为子系统，根据不同子系统属性的不同选取适合于子系统特性的损失函数，并根据条件信息熵来计算不同子系统所含信息量的多少，将条件信息熵作为子系统损失函数的权重得到系统的损失函数。对比现有技术，本发明首次将翻译模型Seq2seq用于摘要生成，并根据摘要特点，对Seq2seq进行改进，提高了其在摘要生成时的训练速度和精度。

技术领域

本发明涉及一种摘要生成方法，特别涉及一种基于Seq2seq模型的摘要生成方法，属于人工智能自然语言生成技术领域。

背景技术

随着社会发展进入大数据时代，各色各样的文本信息出现在人们的日常生活中，微博、微信、新闻等大量的文本信息无时无刻不出现在人们周围，这导致人们被大量无用的信息所干扰，从而无法获取到有用的信息。如果人们在看到大量的文本信息前，首先看到这些文本的摘要，进而确定此文本是否为自己需要的有用信息，这样就可以大大减少被无用信息干扰的可能性，从而方便人们的生活工作。但是无论是互联网海量的数据资源，还是医院中病历等专业信息，一般都没有摘要，如果要为这些文件提供摘要，将会耗费大量的人力资源，并且像病历这类专业的文件需要专业的医生来整理，否则可能会产生差异化不准确的摘要信息，影响数据的使用。随着人工智能技术的逐渐发展与完善，特别是神经网络技术的不断应用，用机器来为文章自动生成摘要迫在眉睫。

发明内容

本发明的目的为了解决当前信息爆炸时代文本数据量大、信息种类多且繁杂和阅读效率低的问题，提供一种基于Seq2seq模型的摘要生成方法。

本发明的目的是通过以下技术内容实现的。

一种基于Seq2seq模型的摘要生成方法，包括以下内容：

将待生成摘要的文本转化为词向量序列；

将词向量序列输入经训练的Seq2seq模型得到的输出作为摘要。

作为优选，对所述Seq2seq模型中的Encoder编码模型进行修改，将LSTM隐层单个细胞节点的输入门和遗忘门结构计算公式改进如下:

其中，I表示输入节点数，H表示输出节点数，C表示隐藏节点数，w_il表示输入门中输入节点i到隐藏节点l的连接权重，表示t时刻第i个节点的输入，γ_b表示输入门中输出节点系数，w_hl表示输入门中输出节点h到隐藏节点l的连接权重，表示t时刻第h个节点的输出，γ_s表示输入门中隐藏节点系数，w_cl表示输入门中隐藏节点c到隐藏节点l的连接权重，表示t时刻第c个节点的状态，表示t时刻输入门的状态，表示t时刻输入门的输出，g(·)表示输入门的激活函数，w_iφ表示遗忘门中输入节点i到隐藏节点φ的连接权重，λ_b表示遗忘门中输出节点系数，w_hφ表示遗忘门中输出节点h到隐藏节点φ的连接权重，λ_s表示遗忘门中隐藏节点系数，w_cφ表示遗忘门中隐藏节点c到隐藏节点φ的连接权重，表示t时刻遗忘门的状态，表示t时刻遗忘门的输出，f(·)表示遗忘门的激活函数，||·||^*表示核范数，max(·)表示最大值函数。

作为优选，对所述Seq2seq模型中的Encoder编码模型训练过程中用到的损失函数进行如下优化：