[发明专利]一种实体识别方法及系统

权利要求书

1.一种实体识别方法，其特征在于，包括：

对输入文本进行分词并进行实体标注；

根据知识库实体词典和新实体词典，利用前向最大匹配方法对输入文本进行匹配；其中，所述新实体词典是基于搜索引擎的搜索日志所确定的；

判断命中知识库实体词典的字符串和未命中知识库实体词典且未命中新实体词典的字符串是否符合预设词性规则；

利用符合预设词性规则的字符串对应的实体修正结果，修正所述输入文本的实体标注结果；

其中所述预设词性规则为：实体字符串为名词及由形容词修饰的名词。

2.根据权利要求1所述的方法，其特征在于，所述知识库实体词典包括：

知识库的百科实体中的名称字段；百科推送的人工整理的别名；百科中挖掘的别名。

3.根据权利要求1所述的方法，其特征在于，根据知识库实体词典和新实体词典，利用前向最大匹配方法对输入文本进行匹配还包括：

根据新实体词典，对未命中知识库实体词典的字符串进行匹配；

若命中新实体词典，则跳过所述字符串，继续进行前向最大匹配；

若未命中新实体词典，则判断所述字符串是否符合预设词性规则，将符合预设词性规则的字符串作为分词结果。

4.根据权利要求3所述的方法，其特征在于，判断命中知识库实体词典的字符串是否符合预设词性规则还包括：

将符合预设词性规则的字符串作为候选实体，判断是否遍历输入文本；

如果已遍历，则将候选实体作为分词结果；

如果未遍历，则继续进行前向最大匹配。

5.根据权利要求3所述的方法，其特征在于，所述新实体词典通过以下步骤获得：

获取搜索词；

对每个搜索词以字符为粒度，设置窗口，计算每个窗口内字符串的互信息及左右信息熵；

将同时满足预设的互信息阈值、左信息熵阈值和右信息熵阈值的字符串作为实体；

去除已经收录在知识库实体词典中的实体，得到新实体词典。

6.根据权利要求1所述的方法，其特征在于，利用所述实体修正结果对自然语言处理分词得到的实体标注结果进行修正包括：

将实体标注结果中被切散的多个实体替换为实体修正结果中对应的单个实体。

7.一种实体识别系统，其特征在于，包括：

实体标注模块，用于对输入文本进行分词并进行实体标注；

知识库实体词典匹配模块，用于根据知识库实体词典和新实体词典，利用前向最大匹配方法对输入文本进行匹配；其中，所述新实体词典是基于搜索引擎的搜索日志所确定的；

词性规则判断模块，用于判断命中知识库实体词典的字符串和未命中知识库实体词典且未命中新实体词典的字符串是否符合预设词性规则；

修正模块，用于利用符合预设词性规则的字符串对应的实体修正结果，修正所述输入文本的实体标注结果；

其中所述预设词性规则为：实体字符串为名词及由形容词修饰的名词。

8.根据权利要求7所述的系统，其特征在于，所述知识库实体词典包括：

知识库的百科实体中的name字段；百科推送的人工整理的别名；百科中挖掘的别名。

9.根据权利要求7所述的系统，其特征在于，所述系统还包括新实体词典匹配模块，用于：

根据新实体词典，对未命中知识库实体词典的字符串进行匹配；

若命中新实体词典，则跳过所述字符串，则由知识库实体词典匹配模块继续进行前向最大匹配；

若未命中新实体词典，则由词性规则判断模块判断所述字符串是否符合预设词性规则，将符合预设词性规则的字符串作为分词结果。