[发明专利]一种基于FastText-CRF的引文元数据抽取方法

权利要求书

1.一种基于FastText-CRF的引文元数据抽取方法，其特征在于，包括以下步骤：

步骤1，采集用于训练的原始引文数据集，然后进行包括删除非法字符在内的预处理，并对预处理后的引文基于标点符号进行分段，再根据引文内容为引文添加相应标签，最后将数据集分为训练集和验证集；

步骤2，训练词向量模型，然后搭建包括输入层、隐藏层、CRF层和输出层在内的FastText-CRF抽取模型，然后输入训练集，并根据输出的标签结果的准确率来对FastText-CRF抽取模型进行优化后重新输入训练集，循环执行直到准确率达到预设值；

步骤3，对待抽取引文基于标点符号进行预处理及分段，然后输入至训练完毕的FastText-CRF抽取模型中进行抽取，最后得到作为结果的标签；

所述的步骤1中，所述的基于标点符号进行分段包括以下步骤：

步骤1.1，依次遍历引文中的每一个单词，判断单词后面字符是否为标点符号，是则执行步骤1.2，否则继续遍历后续单词；

步骤1.2，判断标点符号是否为“.”号，是则执行步骤1.3，否则执行步骤1.4；

步骤1.3，判断“.”号是否属于分隔符，是则执行步骤1.4，否则返回执行步骤1.1；

步骤1.4，将前一个分隔符到当前词的这一段引文划分为同一段并存储；

步骤1.5，判断是否遍历完所有单词，遍历完则保存引文序列的所有段并结束分段过程，否则跳转执行步骤1.1；

所述的步骤1.3中，在判断“.”号是否属于分隔符时，是将其分为用于断句的分隔符和不是用于断句的非分隔符；

所述的步骤1中，根据引文内容为引文添加相应标签，是根据BibTeX记录中已知的引文元数据内容和对应的名称，生成带有标签的引文的训练数据，包括有_AS_lable_即作者开头，_AI_lable_即作者中间，_TS_lable_即标题开头，_TI_lable_即标题中间，_JS_lable_即期刊开头，_JI_lable_即期刊中间，_CS_lable_即会议开头，_CI_lable_即会议中间，_DS_lable_即日期，_PS_lable_即页码开始，_JI_lable_即页码中间，_O_lable_即其他类型共12类标签；

所述的步骤1中，根据BibTeX记录中已知的引文元数据内容和对应的名称，生成带有标签的引文的训练数据，是将BibTeX格式的引文中各个不同的内容部分，为每个分段标注上12类标签中的一个，其中包含“开头”的标签标注给相应内容的第一个分段，相应内容除第一个分段外的其他分段标注包含“中间”的标签，相应内容包括作者、标题、期刊、会议和页码；

所述的步骤2包括以下步骤：

步骤2.1，预训练词向量模型，首先以英文语料库训练基于word2vec的词向量模型，然后以步骤1中的引文数据训练集作为训练数据来二次训练词向量模型；

步骤2.2，搭建FastText-CRF抽取模型，将步骤2.1中训练后的词向量模型作为输入层，并依次构建隐藏层、CRF层和输出层，并为FastText-CRF抽取模型赋予包括优化器、损失函数和评价指标在内的参数；

步骤2.3，设置FastText-CRF模型的超参数，包括学习率和n-grams的长度；

步骤2.4，将步骤1中得到的包含段标签信息的训练集输入FastText-CRF抽取模型；

步骤2.5，按指定的优化器类型对FastText-CRF抽取模型进行优化并跳转执行步骤2.4，直至准确率达到预设的评价指标；若模型达到指定评价标准则保存模型，执行步骤2.3重新设置一组超参数训练模型，直到训练出预设个数模型为止；

步骤2.6，通过验证集验证上述模型得到各模型精度，取最高精度为最终模型；

所述的FastText-CRF抽取模型中，各层为：

输入层：将输入的经过分段后的引文段序列中每个词汇映射成词向量，以进行后续计算；

隐藏层：用于对一个引文段中所有单词的向量进行叠加平均，公式如下

其中N代表引文段中单词的个数，Xi代表段序列中每一个词的词向量，段向量y为输出层的输入，每个引文段数据对应一个隐藏层的输出；

输出层：采用Hierarchical Softmax分类，对于一个引文数据段，输出层会产生多个概率值，分别表示此引文数据段属于当前类的可能性，每个引文段对应一个隐藏层的输出；

CRF层：每个引文段对应一个CRF层的输出，CRF层为最终预测标签添加约束，输出结果为每个引文段的最终标签。