[发明专利]一种面向中医古籍文献的命名实体识别方法和装置

说明书

本发明的实施例公开一种面向中医古籍文献的命名实体识别方法和装置，所述方法包括：整理至少一种实体类型的实体词语，得到一个包含待识别的实体类型的第一中医领域词表；使用AutoPhrase自动短语挖掘技术，从中医古文语料中进行短语挖掘，得到第二中医领域词表；根据预定的回标策略，标注出所述中医古文语料中出现的实体；得到中医古文语料的标注数据；生成训练数据集、验证数据集、测试数据集，将训练数据集输出到训练文件中，验证数据集和测试数据集输出到测试文件中；从所述训练文件、测试文件中读入数据，根据所述读入数据训练自动命名实体识别模型，对所述中医古文语料进行预测，得到识别的结果；根据结果得到识别的实体。

技术领域

本发明涉及中文处理领域，尤其涉及一种面向中医古籍文献的命名实体识别方法和装置。

背景技术

随着技术的发展，需要对中医古籍文献进行命名实体识别处理。目前的方法都需要大量的人工标注数据或者设计特征，然而中医领域的标注和特征设计需要领域知识，所以代价较高。

发明内容

有鉴于此，本发明实施例提供一种面向中医古籍文献的命名实体识别方法和装置，能够提高中医古籍文献的命名实体识别的自动化水平。

一种面向中医古籍文献的命名实体识别方法，包括：

S1、整理至少一种实体类型的实体词语，得到一个包含待识别的实体类型的第一中医领域词表；所述第一中医领域词表包括实体词语和对应的实体类型；

S2、使用AutoPhrase自动短语挖掘技术，从中医古文语料中进行短语挖掘，得到所有可能的实体词语，得到第二中医领域词表，所述第二中医领域词表包括实体词语；

S3、结合所述第一中医领域词表和所述第二中医领域词表，根据预定的回标策略，标注出所述中医古文语料中出现的实体；

S4、结合所述中医古文语料的回标结果和tie/break连接/断开标注模式，得到中医古文语料的标注数据；

S5、结合所述标注数据和根据所述中医古文语料训练得到的预训练模型WordEmbedding词嵌入，生成训练数据集、验证数据集、测试数据集，将训练数据集输出到训练文件中，验证数据集和测试数据集输出到测试文件中；

S6、从所述训练文件、测试文件中读入数据，根据所述读入数据训练AutoNER自动命名实体识别模型，并使用训练得到的所述AutoNER自动命名实体识别模型，对所述中医古文语料进行预测，得到识别的结果；根据结果得到识别的实体。

一种面向中医古籍文献的命名实体识别装置，包括：

整理单元，整理至少一种实体类型的实体词语，得到一个包含待识别的实体类型的第一中医领域词表；所述第一中医领域词表包括实体词语和对应的实体类型；

挖掘单元，使用AutoPhrase自动短语挖掘技术，从中医古文语料中进行短语挖掘，得到所有可能的实体词语，得到第二中医领域词表，所述第二中医领域词表包括实体词语；

标注单元，结合所述第一中医领域词表和所述第二中医领域词表，根据预定的回标策略，标注出所述中医古文语料中出现的实体；

处理单元，结合所述中医古文语料的回标结果和tie/break连接/断开标注模式，得到中医古文语料的标注数据；

输出单元，结合所述标注数据和根据所述中医古文语料训练得到的预训练模型Word Embedding词嵌入，生成训练数据集、验证数据集、测试数据集，将训练数据集输出到训练文件中，验证数据集和测试数据集输出到测试文件中；

预测单元，从所述训练文件、测试文件中读入数据，根据所述读入数据训练AutoNER自动命名实体识别模型，并使用训练得到的所述AutoNER自动命名实体识别模型，对所述中医古文语料进行预测，得到识别的结果；根据结果得到识别的实体。