[发明专利]基于词典匹配的实体标注方法、模块及装置

说明书

本发明公开一种基于词典匹配的实体标注方法、模块及装置，包括：将实体词语按小至大排成有序词典；为实体词语建立前向索引条F，F中第i个元素为实体词语前i个字符在有序词典中的最大前缀；将句子s按大小插入有序词典，利用有序词典中比句子s小的最大实体词语作为最大公共前缀基词w，计算s与w的前x个相同的字符，进而得到句子s在有序词典最大前缀；利用最大前缀标注信息对句子s的对应实体词语添加标注信息，并将其从s中切出，否则将s中第一个字切出，将切出后剩余部分作为句子s，重复以上步骤，直到s为空字符串。本发明经过一次二分搜索就能得到一个切分实体，进而得到预标注结果，通过这种预标注方法来减少用户的重复性劳动。

技术领域

本发明涉及人工智能技术领域，具体地说，涉及一种基于词典匹配的实体标注方法、模块及装置。

背景技术

由于互联网和大数据的不断发展，人们在各个方面积累了大量的原始数据，从这些琐碎的数据中获取结构化的知识是实现机器智能化的重要途径之一。随着自然语言处理技术的日渐成熟，从文本中自动提取出实体和关系等关键信息已经成为了一件可行的事情，这为计算机理解文本知识打下了基础。其中，实体提取也称为命名实体识别，是指从文本中识别出具有特定意义的命名实体如人名、地名、设备等等。从文本中提取实体和关系需要进行文本切词，并利用预先使用大量的标注数据训练的模型对切词进行标注，出于准确性的考虑，预先使用的大量的标注数据通常需要由人工进行标注。

目前对于文本的切词方法包括：

(1)基于词典的分词方法：将待分词文本按某种策略切分出小片段，并在词典中查找，查找到则切分为一个词语。

(2)基于统计的分词方法：将相邻的、同时出现次数多的几个字切分为一个词语，不依赖于词典，能够识别新词。

(3)基于神经网络的分词方法：通过分好词的文本对神经网络模型进行训练，利用得到的模型去切分句子。

其中，由于在分词时通常不考虑未出现过的词语，因此基于词典的分词方法应用较为广泛。基于词典的分词方法中，词典也是按照词长进行分类的，例如词长为一个字符的词典，词长为两个字符的词典，从句子剩余部分中截取前缀子串用于比对时，只需要查找与子串具有相同长度的词典，通常相同词长的词典按顺序存储词语，以便使用二分搜索法加快查找。如果词典中存在与子串相同的词则切出该子串，否则去除子串的末位字符再用另一个对应词长的词典进行比对，这一过程重复进行，直到子串比对成功或子串中只剩下一个字符，即完成一次切词。

上述分词方法的缺点是需要建立不同词长的词典，每次都要从词长最大的词典开始搜索，当文本中存在较长的词时，需要查找的词典的数量就会很多，切分一次词所需要的搜索次数也会相应增加。另外，长词出现的频率一般比较低，那么对于经常出现的短词来说，每次切分都要先到长词的词典中进行查找是十分低效的。

而且，对于切分出的词的标注，目前已经有一些中文实体标注辅助工具，它们为用户提供一个容易操作的图形用户界面。如BRAT是一个基于web的文本标注工具，它支持用户通过修改配置文件来自定义实体类别(但不支持中文类别)，标注时选中某段文本并选择实体类别即可；YEDDA是一个基于tkinter的文本标注工具，同样支持自定义实体类别和实体标注，但实体类别数只有7种。然而，这些工具只提供用于展示和交互的图形用户界面，而不能起到辅助人工标注的作用，人工标注的工作量仍然很大。

发明内容

为解决以上问题，本发明公开一种基于词典匹配的实体标注方法，包括：

将实体词语按由小至大的顺序依次排列，形成有序词典；

为每个实体词语建立一个前向索引条F，F中第i个元素为实体词语前i个字符构成的字符串在有序词典中的最大前缀；

获取待标注的句子s，将待标注的句子s按照大小顺序虚拟插入到有序词典中的相应位置，若所述有序词典中没有比句子s小的实体词语，则所述有序词典中不存在句子s的前缀，