[发明专利]融合序列语法标注框架的生成式文本摘要方法

摘要

本发明涉及融合序列语法标注框架的生成式文本摘要方法，属于自然语言处理领域。主要为了解决现有模型在产生摘要时没有考虑语法结构，因此生成的摘要存在不满足语法规则的问题。本发明首先利用开源句法分析器Berkeley Parser对句子进行成分句法分析，生成短语解析树；其次通过深度优先遍历算法，将短语解析树线性化成一个结构标签序列；然后使用word2vec工具对语法标注序列进行向量化；最后将源语法结构信息输入到编码器中，经过摘要生成模块编、解码，最终生成摘要。实验在CNN/Daily Mail数据集上进行，结果表明本发明不仅解决了超纲词、重复短语、主题不显著等问题，而且生成的摘要基本满足语法规则，可读性更强，与源文本语法更具有一致性，ROUGE得分比先进算法有一定提高。

主权项

1.融合序列语法标注框架的生成式文本摘要方法，其特征在于所述方法包括如下步骤：步骤1，使用开源句法分析器Berkeley Parser，用训练集中的英文文本构建短语解析树；步骤2，利用深度优先遍历算法，将短语解析树线性化成一个结构标签序列，为了获得单词序列中某一个单词的结构标签注释向量，在标签序列中查找该单词的词性(POS)标签，并将标签的注释向量视为该单词的标签注释向量；步骤3，向量化句法标注序列；步骤4，利用源语法结构信息生成摘要；将句法标注向量和词向量的混合序列输入编码器中，进行编码；从编码器的输出中抽取词对应的隐层状态向量作为词标注向量h_i，通过前一时刻状态s_t‑1和源词标注向量h_i来计算注意力权重a^t，使得权重向量捕获到源语言和目标语言的关联程度，在输入循环隐层状态s_t、前一个预测词y_i‑1和源端上下文向量的基础上，通过一个多层感知机来预测目标词y_i，最终生成文本摘要。