[发明专利]一种面向命名实体识别的训练集自动标注方法及系统

说明书

本发明公开了一种面向命名实体识别的训练集自动标注方法及系统，包括：根据命名实体词库对待标注文本进行标注得到词库标注序列；根据命名实体识别规则对待标注文本进行标注得到规则标注序列；根据相同的词和抽取的词在待标注文本中的位置得到标注文本；对标注文本进行数据预处理得到训练集；以训练集为输入，对BERT‑BiLSTM‑CRF模型进行训练；对待标注文本进行数据预处理得到待标注文本列表；将待标注文本列表输入训练好的模型得到预测标签序列；根据待标注文本列表和预测标签序列更新训练集得到训练样本集。本发明能够实现不同领域命名实体识别任务的训练集的自动标注。

技术领域

本发明涉及自动标注领域，特别是涉及一种面向命名实体识别的训练集自动标注方法及系统。

背景技术

当前流行的基于深度学习的自然语言处理任务，如命名实体识别等，依赖于训练数据集，而训练集主要采用人工标注的方法，而大量的数据集需要耗费大量的人力和时间，而训练集过小会导致深度学习算法的过拟合，使得效果不理想甚至不如传统机器学习算法。另外，针对特定领域的任务，需要特定的训练集，如果全部采用人工标注大量数据，不但效率低下并且有现实局限，因此，本发明针对文本对象，面向命名实体识别问题，提出一种训练集自动标注系统，能够自动地对特定领域数据集进行标注，从而提高训练集数据标注的效率。该系统采用基于词库、规则、深度学习三种模式进行自动标注，可以取长补短弥补各自单重方式的不足：弥补词库的词的不完全、基于规则方式效果依赖于人工制定规则和特征模板以及训练集过小会导致深度学习算法的过拟合。采用本发明设计的结构能最大化自动标注效率，适用于多种特定领域，能够极大地减少人工标注对基于深度学习的命名实体识别任务的影响。

发明内容

本发明的目的是提供一种面向命名实体识别的训练集自动标注方法及系统，能够对面向命名实体识别的训练集进行自动标注，提高训练集数据标注的效率。

为实现上述目的，本发明提供了如下方案：

一种面向命名实体识别的训练集自动标注方法，包括：

根据命名实体词库对待标注文本进行标注，得到词库标注序列；所述词库标注序列包括所述命名实体词库中与所述待标注文本中相同的词以及所述相同的词在所述命名实体词库中的类别；

根据命名实体识别规则对所述待标注文本进行标注，得到规则标注序列；所述规则标注序列包括所述待标注文本按照命名实体识别规则抽取的词以及所述抽取的词在所述命名实体识别规则中的类别；

根据所述相同的词和所述抽取的词在所述待标注文本中的位置，得到标注文本；所述标注文本包括所述相同的词、所述抽取的词、所述相同的词的类别、所述抽取的词的类别和所述位置的位置索引；

对所述标注文本进行数据预处理，得到训练集；

以所述训练集为输入，对BERT-BiLSTM-CRF模型进行训练，得到训练好的BERT-BiLSTM-CRF模型；

对所述待标注文本进行所述数据预处理，得到待标注文本列表；

将所述待标注文本列表输入所述训练好的BERT-BiLSTM-CRF模型，得到预测标签序列；

根据所述待标注文本列表和所述预测标签序列更新所述训练集，得到训练样本集。

可选的，所述根据命名实体词库对待标注文本进行标注，得到词库标注序列，具体包括：

确定所述命名实体词库中与所述待标注文本对应的命名实体类别；

确定所述命名实体类别包含的实体词；

根据所述实体词查找所述待标注文本中的词，得到标注词；所述标注词为所述命名实体词库中与所述待标注文本中相同的词；

根据所述标注词与对应的所述命名实体类别，确定所述词库标注序列。