[发明专利]一种基于最大熵模型建模和命名实体识别的方法及装置

说明书

技术领域

本发明属于自然语言处理范畴，特别涉及基于最大熵模型建模和命名实体识别的 方法及装置。

背景技术

命名实体(NamedEntity，NE)是指被命名的唯一确定的具有特定意义的最小信息 单位——专有名称和数量短语，主要包括7种类型的命名实体：人名、组织名、地名、日期、时 间，货币值和百分数。命名实体识别任务主要是识别出文本中的命名实体，并加以归类。命 名实体识别最初是在MUC-6(MessageUnderstandingConference消息理解研讨会)上作为 一个子任务提出的，从整体的命名实体识别的研究结果来看，日期、时间、货币值、百分数的 识别相对简单，其规则的设计、数据的统计训练等也比较容易。因为人名、组织名、地名等命 名实体具有开放性和发展性的特点，而且构成规律有很大的随意性，所以对它们的识别就 可能会有较多的错选或漏选。现在大多数的命名实体识别的研究都集中在这三种命名实体 的识别技术上。

目前，英文的命名实体识别技术已经达到了较高水平，和英文相比，中文的命名实 体识别要困难得多。对于中文人名、地名的识别，科研人员做过许多艰苦的探索和研究。

现有的技术是，首先对文本进行分词，在分词的基础上，采用最大熵模型进行命名 实体的识别(明丽宏，哈尔滨工业大学硕士论文，2004)。使用最大熵的区别式模型进行训练 和学习，把识别问题作为分词后的词的角色标注问题，在文本中进行命名实体识别。

由现有技术可以看出，由于该方法是在分词的基础上进行的命名实体识别，分词 错误和它导致的信息丢失会影响识别效果。例如：人名的上文和姓成词、人名的末字和下文 成词等，姓、人名的末字等语言学信息就丢失了。

发明内容

为了解决在分词的基础上进行的命名实体的识别，分词错误和它导致的信息丢失 会影响识别效果的问题，本发明实施例提供了一种基于最大熵模型建模的方法，包括：

输入标注命名实体的训练文本，该训练文本标注有中文人名和/或中文地名信息；

根据训练文本中标注的信息和预定义的角色信息，对训练文本中的每个字符进行 角色标记的标注，建立用于角色标注的训练文本；

根据字符角色标注，建立所述字符的特征项；

将所述字符的特征项输入到最大熵的建模工具中，得到基于所述字符角色标注的数据模型，其中，所述最大熵的建模工具中，关于事件概率p的熵的定义公式为：最大熵概率模型被定义在空间H×T上，其中H代表所有上下文中特征的集合，一个选定字符的上下文范围可选择为前后各两个字符，特征包括字符本身的特性和语言学特征信息，T代表一个字符所有可能的角色标记集合，hi代表给定一个特定上下文，ti代表某一特定角色标记。

本发明实施例还提供一种命名实体识别的方法，包括：

加载如前所述的基于字符角色标注的数据模型；

输入待识别文本，建立待识别文本中各字符的特征项，得到待识别文本字符特征 项序列；

将待识别文本中字符特征项序列，输入到所述基于字符角色标注的数据模型中， 得到具有最大产生概率的待识别文本字符角色标注序列；

对待识别文本字符角色标注序列的标注名称模式匹配，得到命名实体。

本发明实施例还提供一种基于最大熵模型建模的装置，包括：

输入模块：输入标注命名实体的训练文本，该训练文本标注有中文人名和/或中文 地名信息；

标注模块：根据训练文本中标注的信息和预定义的角色信息，对训练文本中的每 个字符进行角色标记的标注，建立用于角色标注的训练文本；

建立模块：用于根据字符角色标注，建立所述字符的特征项；

建模模块：用于将所述字符的特征项输入到最大熵的建模工具中，得到基于字符 角色标注的数据模型。

本发明实施例还提供一种命名实体识别的装置，包括：

加载模块：用于加载基于字符角色标注的数据模型；

特征项生成模块：用于输入待识别文本，建立待识别文本中各字符的特征项，得到 待识别文本字符特征项序列；

角色标注生成模块：用于将待识别文本中字符特征项序列，输入到所述基于字符 角色标注的数据模型中，得到具有最大产生概率的待识别文本字符角色标注序列；