[发明专利]一种基于深度学习的参考文献自动标注方法及系统

摘要

本发明公布了一种基于深度学习的参考文献自动标注方法及系统，通过分析文档内容，定位到文档中的参考文献区域，提取引文条目，然后通过基于深度学习的方法对引文进行自动分段和标注，由此得到引文的元数据信息；包括：提取文档包含的所有的引文条目；训练基于深度学习的引文标注模型；对每一条引文利用训练好的引文标注模型进行标注，即完成文档的参考文献自动标注。本发明可取得更高的准确率，更易于扩展到新的领域和风格的参考文献上。

主权项

1.一种基于深度学习的参考文献自动标注方法，通过分析文档内容，定位到文档中的参考文献区域，提取引文条目，然后通过基于深度学习的方法对引文进行自动分段和标注，由此得到引文的元数据信息；包括如下步骤：1)通过分析文档内容，定位到文档中的参考文献区域，提取文档包含的所有的引文条目；2)使用带有标注的引文训练数据，预先训练基于深度学习的引文标注模型；具体执行如下操作：21)首先，从互联网上收集BibTeX数据并进行预处理；通过将BibTeX记录输出为不同风格的引文，并利用BibTeX记录中已知的引文字段和内容的键值对，生成引文的带有标注的训练数据；22)引文标注模型：采用序列标注网络架构，使用双向长短期记忆单元LSTM自动抽取引文词序列中的深度特征；然后加入一个段分割的层，根据LSTM的输出预测每个时刻的片段标签，确定片段与前后时刻是否属于同一个片段；根据标签，通过段分割层的输出得到段的集合；然后对得到的段集合中每个段计算段特征，将段的序列送入条件随机场CRF中；使用条件随机场CRF预测标签；3)对步骤1)中提取到的所有引文条目，使用步骤2)中训练的引文标注模型，对每一条引文进行标注，即完成文档的参考文献自动标注。