[发明专利]实体词识别方法及装置

摘要

本申请提供了一种实体词识别方法，包括以下步骤接收待识别数据，对所述待识别数据按照第一预定规则切分得到分组数据；按照第二预定规则抽取所述每一组分组数据的特征，基于各特征的权重和预定单词类别计算每一组分组数据所属的类别组合以及概率；从每一组分组数据所属的类别组合中选取其中包含的实体词，并计算所述各实体词的识别概率；按照所述各实体词的概率大小对实体词进行排序。本申请还提供了一种实现前述方法的实体词识别装置。本申请的实体词识别方法及装置，能够提高实体词挖掘效率，且可以降低挖掘成本。

主权项

一种实体词识别方法，其特征在于，包括以下步骤：接收待识别数据，对所述待识别数据按照第一预定规则切分得到分组数据；按照第二预定规则抽取所述每一组分组数据的特征，基于各特征的权重和预定单词类别计算每一组分组数据所属的类别组合以及概率；从每一组分组数据所属的类别组合中选取其中包含的实体词，并计算所述各实体词的识别概率；按照所述各实体词的概率大小对实体词进行排序；其中，在各步骤之前还包括：准备训练数据，对模型进行训练；所述准备训练数据包括采用自动标注的方式进行准备，包括以下步骤：获取待识别数据，判断其中是否包含有与某个实体词词典中匹配的文本，若有，则记录所述文本；统计包含有所述文本的实体词词典的数量，并根据所述数量与每个实体词词典的优先级确定所述文本的分数；根据所述分数对待识别数据中的文本进行标注。