[发明专利]一种融合语义与上下文信息的文本摘要方法及系统

权利要求书

1.一种融合语义与上下文信息的文本摘要方法，其特征在于：包括以下步骤：

步骤A：采集文本内容以及摘要，构建文本-摘要对训练集；

步骤B：基于文本-摘要对训练集，训练融合语义与上下文信息的深度学习网络模型；

步骤C：将文本内容输入步骤B训练好的深度学习网络模型中，输出文本的摘要；所述步骤B具体包括以下步骤：

步骤B1：遍历文本-摘要对训练集，对训练集中的每个训练样本，重复下述步骤B2-B7；

步骤B2：对每个训练样本，根据预训练的词向量矩阵分别对文本和摘要进行编码，得到文本的初始表征向量和摘要的初始表征向量

步骤B3：将步骤B2得到的初始表征向量输入到卷积编码器中，得到文本的语义表征向量

步骤B4：将步骤B2得到的初始表征向量输入到变换网络中，得到文本的上下文表征向量

步骤B5：使用门控单元融合步骤B3得到的文本的语义表征向量和步骤B4得到的文本的上下文表征向量得到文本的表征向量

步骤B6：将步骤B5得到的文本的表征向量和步骤B2得到的摘要的初始表征向量输入到解码器中，得到融合文本和摘要语义信息的表征向量

步骤B7：将步骤B6得到的表征向量输入到全连接层，再通过Softmax，输出概率分布向量|D|为词典大小，计算公式如下：

其中为隐藏层权重矩阵，为可训练的参数；

步骤B8：根据目标损失函数loss，利用反向传播方法计算深度学习网络中各参数的梯度，并利用随机梯度下降方法更新参数；

用交叉熵作为损失函数计算损失值，通过梯度优化算法SGD进行学习率更新，利用反向传播迭代更新模型参数，以最小化损失函数来训练模型；

其中最小化损失函数Loss的计算公式如下：

其中M为摘要中词的个数；为预测第i个摘要词时，目标单词在词典中的索引；

步骤B9：当深度学习网络模型产生的损失值小于设定阈值且损失值不再降低，或者达到最大迭代次数，终止深度学习模型的训练。

2.根据权利要求1所述的一种融合语义与上下文信息的文本摘要方法，其特征在于：所述步骤B2具体包括以下步骤：

步骤B21：每个训练样本表示为(s,a)，s表示文本，a表示摘要，分别对文本s和摘要a进行分词并去除停用词；

文本s和摘要a经过分词及去除停用词后，可分别表示为：

其中，为文本s经过分词及去除停用词后剩余词语中的第i个词，i＝1,2,...,N；为摘要a经过分词及去除停用词后剩余词语中的第j个词，j＝1,2,...,M；N为文本s经过分词及去除停用词后剩余的词语数量，M为摘要a经过分词及去除停用词后剩余的词语数量；

步骤B22：对步骤B21得到的文本s进行编码，得到文本s的初始表征向量表示为：

其中，“+”表示向量加法操作，为文本s中第i个词所对应的词向量，i＝1,2,...,N，通过在预训练的词向量矩阵中查找得到，其中d表示词向量的维度，|D|是词典中的词语数；为文本s中第i个词所对应的位置编码，i＝1,2,...,N，编码方式如下：

其中，表示位置编码的偶数维对应的正弦值，表示位置编码的奇数维对应的余弦值；[]^T表示转置操作；

步骤B23：对步骤B21得到的摘要a进行编码，得到摘要a的初始表征向量表示为：

其中，“+”表示向量加法操作，为摘要a中第j个词所对应的词向量，j＝1,2,...,M，通过在预训练的词向量矩阵中查找得到，其中d表示词向量的维度，|D|是词典中的词语数；为摘要a中第j个词所对应的位置编码，j＝1,2,...,M，编码方式如下：

其中，表示位置编码的偶数维对应的正弦值，表示位置编码的奇数维对应的余弦值；[]^T表示转置操作。