[发明专利]一种基于自动样本标注的闭环实体抽取方法

说明书

本发明公开了一种基于自动样本标注的闭环实体抽取方法，所述方法包括：构建种子词库，将领域相关的实体种子词导入词典，存储到数据库中；选取在词典中相关行业领域的实体种子词，然后使用词向量的方法找到关联词，在语料库中通过倒排索引摘取出相关的语料集，进行程序自动标注，生成训练的数据集；把实体识别的训练集数据导入到程序中并通过BiLSTM‑CRF算法进行模型训练操作，生成实体提取的模型；将待检测数据集输入导入模型中，进行实体识别，并根据识别结果，判断模型的性能；将筛选后的实体词导入词典中，在下一次训练时标注训练数据集。

技术领域

本发明涉及训练集实体识别技术领域，尤其涉及一种基于自动样本标注的闭环实体抽取方法。

背景技术

随着现阶段计算机硬件性能的极大提升，自然语言处理迎来了爆发期，满足着各行各业的不同需求。而实体识别在自然语言处理领域是重要的工具，例如在信息获取，智能问答，机器翻译等场景都有着重要的作用。传统的实体识别的训练样本由人工进行标注，训练样本的性能差异化，导致生成模型也会产生很大的不同，并且传统的人工标记方式造成了大量的的人力浪费。

现有的实体识别方案有：1、基于统计的实体识别，将语料进行分词操作，然后把分词的标记符号转换为实体识别的标记。该方法需要大量的训练数据，来保证模型的可靠型；2、基于规则的实体识别，由语言学家构造模板，选用特征。然后采用模式匹配和字符匹配的手段进行实体识别，该方法依赖于数据字典的建立，并且该方法可移植性差，建设周期长。3、基于神经网络的实体识别模型，可以自动提取特征，是一种数据驱动型方法，但是该方法对参数依赖性大，模型可解释性差。

为了实际项目中实体识别更加方便快捷，在本文中提出了一种基于自动样本标注的闭环实体抽取方法。该方法首先构建种子词库，将领域相关的实体种子词导入词典，存储到数据库中，之通过在语料库中摘取出相关的语料集，进行程序自动标注，然后使用BiLSTM-CRF进行训练模型，之后对待检测样本进行识别，检验模型的可靠性。将实体提取结果进行人为的筛选，避免错误实体的出现，然后将实体导入词典中，方便下次训练的使用。

发明内容

实体识别有助于构建知识图谱的搭建，但是在实际工程中，在很多领域由于缺少足够的训练标注语料，导致实体识别结果错误或者识别的实体不够全面。其相关研究发展十分缓慢。为解决上述技术问题，本发明的目的是提供一种基于自动样本标注的闭环实体抽取方法，该方法用来构建实体语料集。可以因此降低实体识别的工作难度，提高效率，降低人工标注的费时费力。解决了在实际项目中解决一些特殊行业领域的实体识别训练集数据不足，以及提取难度大的问题。

本发明的目的通过以下的技术方案来实现：

一种基于自动样本标注的闭环实体抽取方法，包括：

A构建种子词库，将领域相关的实体种子词导入词典，存储到数据库中；

B选取在词典中相关行业领域的实体种子词，然后使用词向量的方法找到关联词，在语料库中通过倒排索引摘取出相关的语料集，进行程序自动标注，生成训练的数据集；

C把实体识别的训练集数据导入到程序中并通过BiLSTM-CRF算法进行模型训练操作，生成实体提取的模型；

D将待检测数据集输入导入模型中，进行实体识别，并根据识别结果，判断模型的性能；

E将筛选后的实体词导入词典中。

与现有技术相比，本发明的一个或多个实施例可以具有如下优点：

该方法中使用词向量，BiLSTM-CRF算法进行计算。本发明主要是提出样本的自动标注以及闭环的工作流程，样本的自动标注降低了人力资源的消耗与人工标注的难度。闭环的工作流程缩短整体的工作周期，提高工作效率。推动该领域知识图谱的构建，以及其他应用的发展。

附图说明