[发明专利]一种增强语义相关性的文本摘要生成方法

权利要求书

1.一种增强语义相关性的文本摘要生成方法，其特征在于，包括以下步骤：

步骤1、获取相关需要生成摘要的文本数据，并进行文本数据处理；

步骤2、对处理好的文本，构建相关字典，每个词对应一个唯一id，设置词向量维度，随机初始化所有词向量；

步骤3、将需要做摘要的文章向量与预训练向量进行融合，然后送入Encoder端；

步骤4、Decoder端最终生成的摘要向量，与预训练摘要向量进行余弦相似度计算，构造Loss损失函数。

2.根据权利要求1所述的方法，其特征在于，步骤3具体包含以下步骤：

步骤3.1、统计文章和摘要的长度分布，选取分布在90％的文章和摘要的长度，以文章长度为m，摘要长度为n为例；

步骤3.2、获取文章与摘要对应的预训练词向量，词向量维度为N维；

步骤3.3、将文章输入模型Embedding层获取词向量，维度为N维；

步骤3.4、将模型得到的词向量与预训练词向量进行融合，融合方式为拼接，拼接后的词向量维度是2N；

步骤3.5、将拼接后的词向量送入全连接网络，将2N维词向量映射为N维。

3.根据权利要求2所述的方法，其特征在于，步骤4具体包含以下步骤：

步骤4.1、获取D ecoder端Softmax之前的语义向量，维度是N维

步骤4.2、将Decoder端的语义向量与摘要的预训练向量计算余弦相似度，计算公式为：

A为摘要语义向量，B为摘要预训练向量

步骤4.3、设计损失函数

Loss＝-λsimilarity+cross_entropy

其中cross_entropy为摘要语义向量与摘要预训练向量的交叉熵，λ为超参数，通过获取cross_entropy与similarity的数量级，保证cross_entropy与similarity的数量级为同一数量级，确定参数λ的值。