[发明专利]高效且精确的命名实体识别方法和装置

权利要求书

1.一种在自然语言输入文本处理中识别和提取命名实体的方法，包括：

通过基于压缩命名实体识别NER模型的命名实体识别器，在所述输入文本上执行第一阶段NER，以生成第一阶段确定，确定所述输入文本中是否存在至少一个命名实体；

如果所述第一阶段NER确定所述输入文本中不存在命名实体，则通过基于规则的命名实体识别器，在所述输入文本上执行第二阶段NER，以生成第二阶段NER结果，其中如果所述第二阶段NER确定在所述输入文本中至少存在一个命名实体，那么所述第二阶段NER结果包括一对或多对命名实体及其对应的类别或类型；

如果所述第一阶段NER确定在所述输入文本中存在至少一个命名实体，则通过所述基于压缩命名实体识别NER模型的命名实体识别器，生成第一阶段NER结果，其中所述第一阶段NER结果包括一对或多对命名实体及其对应的类别或类型；

通过NER结果合并器，合并所述第一阶段NER结果和所述第二阶段NER结果，以产生一个最终NER结果；

其中所述基于压缩命名实体识别NER模型的命名实体识别器是使用一个压缩NER模型来训练的，所述压缩NER模型是从一个训练数据集生成的，

其中，所述训练数据集是被一个向量表优化而优化的；

其中所述向量表优化包括：

通过单词向量，将所述训练数据集中的句子聚类成一个可配置数量的群集；

从每个所述群集中选择语料库以包含在所述训练中，其中所选的语料库先前未被选择过用于所述训练数据集；

在所述训练中省略一部分所述训练数据集；

或者，所述训练数据集是被一个参数优化而优化的；

其中所述参数优化包括以下一个或多个：

减少所述训练数据集的单词向量空间维度；

减少所述训练数据集的字符向量空间维数；

使用较少内存消耗的数据方案代替所述训练数据集中的多维字符向量，来简化字符的数据表示。

2.根据权利要求1所述的方法，还包括：

如果所述第一阶段NER确定在所述输入文本中存在至少一个命名实体，则通过所述基于压缩命名实体识别NER模型的命名实体识别器，产生一个精确识别概率；

如果所述精确识别概率低于一个阈值，则通过所述基于规则的命名实体识别器，在所述输入文本上执行所述第二阶段NER，以生成所述第二阶段NER结果。

3.根据权利要求1所述的方法，其中对所述第一阶段NER结果和所述第二阶段NER结果进行合并，以生成所述最终NER结果是一个并行运行，包括：

如果所述第一阶段NER结果和所述第二阶段NER结果两者都非空，则从两者构建所述最终NER结果；

如果所述第二阶段NER结果为空，则从所述第一阶段NER结果构建所述最终NER结果；

如果所述第一阶段NER结果为空，则从所述第二阶段NER结果构建所述最终NER结果。

4.根据权利要求1所述的方法，其中对所述第一阶段NER结果和所述第二阶段NER结果进行积分以生成所述最终NER结果是一个选择选项，包括：

如果两者都非空，则从所述第二阶段NER结果构造所述最终NER结果；

如果所述第二阶段NER结果为空，则从所述第一阶段NER结果构造所述最终NER结果；

如果所述第一阶段NER结果为空，则从所述第二阶段NER结果构造所述最终NER结果。