[发明专利]高效且精确的命名实体识别方法和装置

说明书

一种在自然语言输入文本处理中识别和提取命名实体的方法，包括：通过基于压缩命名实体识别(NER)模型的命名实体识别器，对输入文本执行第一阶段NER，以产生第一阶段确定，确定输入文本中是否存在至少一个命名实体；如果第一阶段NER确定输入文本中不存在命名实体，则通过基于规则的命名实体识别器，在输入文本上执行第二阶段NER，以产生第二阶段NER结果；如果第一阶段NER确定输入文本中存在至少一个命名实体，则由基于压缩NER模型的命名实体识别器产生第一阶段NER结果；并通过NER结果合并器对第一阶段NER结果和第二阶段NER结果进行合并，以产生最终NER结果。

【技术领域】

本发明涉及自然语言处理(NLP)，尤其涉及用于文档中的命名实体(namedentity)识别和提取的方法、技术、装置和系统，其中命名实体可以被分为类别和类型。

【背景技术】

用于识别命名实体的自动化系统的目标是能够从数字文档或文本中识别和提取命名实体，并将那些命名实体分类为一个或多个预定的类或类型，例如人、城市、汽车和其他等。命名实体识别和提取结果的下游应用是前景广阔的，包括改进信息检索系统和知识提取系统等。

一种命名实体识别(NER)技术使用向量来模拟数字文档和文本中或上下文中的单词和字符。这些向量可以被视为多维空间中的单词、字符和上下文的数字表示，形成一个用于训练NER系统的训练数据集。单词的向量与其含义有直接关系。单词“in”的一个示例向量是：[0.33042 0.24995-0.60874 0.10923 0.036372 0.151-0.55083-0.074239-0.092307-0.32821 0.09598-0.82269-0.36717-0.67009 0.42909 0.016496-0.23573 0.12864-1.0953 0.43334 0.57067-0.1036 0.20422 0.078308-0.42795-1.7984-0.278650.11954-0.12689 0.031744 3.8631-0.17786-0.082434-0.62698 0.26497-0.057185-0.073521 0.46103 0.30862 0.12498-0.48609-0.0080272 0.031184-0.36576-0.426990.42164-0.11666-0.50703-0.027273-0.53285]。

图1显示这种包括单词向量、字符向量和上下文向量的训练数据集的逻辑构成。这种预先训练的NER系统可以实现高精度，但它需要大量的向量训练数据集，使其不适合在资源有限的移动设备中使用。例如，在流行的短消息服务(SMS)中交换文本消息上的NER非常受限于移动电话的计算能力和存储容量。大多数当前可用的实施只能使用正则表达式(regular expressions)来检测电话号码或超链接。但是，电话号码和超链接并不是唯一有价值的命名实体。地理位置、名称、电话号码、日期和时间可能都是用户希望在其他应用程序中使用的重要信息。例如，用户可能想要对包含在SMS消息中的位置名称执行地图搜索。能够识别这些命名实体是第一步，然后才能允许这些数据与其他应用程序和/或系统进行交换，完全自动地或至少最小的用户干预。此外，识别某些实体(如人员、组织和场所)具有挑战性，但很有价值，因为这些类型的实体经常受到时间流逝的影响，同时又是文件和短信的主要组成部分。

通常，为了构建具有高识别准确率的NER系统，需要一个较大的训练数据集，结果形成一个相当大尺寸的NER系统。因此，传统的NER可能不适合移动设备。需要一种NER系统，其只有较小存储器尺寸要求但仍能保持高识别准确率。

【发明内容】