[发明专利]一种识别命名实体的方法及装置

说明书

本发明提供的识别命名实体的方法，首先，获取各个类别的训练样本以及目标字符串，然后将将目标字符串拆分成单个目标字；之后，针对每个类别，计算每个目标字与该类别的训练样本中的其他字的接近度；根据所述接近度计算该目标字符串属于该类别的似然函数；计算出该目标字符串对应每个类别的似然函数，将似然函数最大的类别作为目标字符串所属的命名实体的类别。该方案中，通过计算目标字符串属于每个类别的似然函数，将目标字符串与属于各个类别的程度进行了量化，从而客观表现出其所属程度，从而对命名实体进行分类，提高了分类效果和分类精度。

技术领域

本发明涉及自然语言处理领域，具体涉及一种识别命名实体的方法及装置。

背景技术

命名实体是指如人名、地名、组织机构名称等具有特定意义的名称的词汇，命名实体识别是自然语言处理中的一项基本工作，它不仅是分词和标注过程中的一个重要环节，而且在句法分析、机器翻译、信息检索、自动问答系统等领域中也有直接的应用。由于部分命名实体是新词，如果对这类词的类别不能进行准确的分类，必然影响后续的工作。

一般来说，对于一篇待处理文本，识别命名实体的任务是识别出待处理文本中三大类(实体类、时间类和数字类)、七小类(人名、机构名、地名、时间、日期、货币和百分比)命名实体。由于时间、日期、货币和百分比的构成有比较明显的规律，识别起来相对容易，因此命名实体识别通常指的是人名、地名和机构名的识别。例如，当出现字符串“李白”时，能够通过识别工具准确的判断此词的所属类别为人名。

目前，不同领域内的命名实体识别需要人工专门进行特征提取，这一步往往需要领域专家的参与，这项工作加大了人工工作量，降低了模型的适用范围。

发明内容

因此，本发明要解决的技术问题在于克服现有技术中识别命名实体需要人工量大、模型使用范围小的缺陷。

本发明提供一种识别命名实体的方法，包括如下步骤：

获取各个类别的训练样本；

获取训练样本中每个字的字向量及该字在该训练样本的中的概率；

获取目标字符串，并将目标字符串拆分成单个目标字；

针对每个类别，根据每个目标字及其所在的位置计算每个目标字属于该类别的向量，计算该目标字符串属于该类别的似然函数；

计算出所述目标字符串对应每个类别的似然函数，将似然函数最大的类别作为目标字符串所属的命名实体的类别。

优选地，计算该目标字符串属于该类别的似然函数的步骤，通过以下公式计算：

其中，end是指目标字符串中字符的总数，P_B(str(1)|类别λ)表示目标字符串中第一个字符属于类别λ的概率；

(P_M(str(i)|类别λ)表示目标字符串中第i字符属于类别λ的概率；

(P_E(str(end)|类别λ)表示目标字符串中最后一个字符属于类别λ的概率；

P_Markov(str(i)|类别λ)表示在类别λ中，目标字符串中的第i个字符出现在第i-1个字符之后的概率。

优选地，计算目标字符串中第一个字符属于类别λ的概率的步骤，包括：