[发明专利]一种基于最大熵模型建模和命名实体识别的方法及装置

权利要求书

1.一种基于最大熵模型建模的方法，其特征在于，包括：

输入标注命名实体的训练文本，该训练文本标注有中文人名和/或中文地名信息；

根据训练文本中标注的信息和预定义的角色信息，对训练文本中的每个字符进行角色 标记的标注，建立用于角色标注的训练文本；

根据字符角色标注，建立所述字符的特征项；

将所述字符的特征项输入到最大熵的建模工具中，得到基于所述字符角色标注的数据 模型，其中，所述最大熵的建模工具中，关于事件概率p的熵的定义公式为： 最大熵概率模型被定义在空间H×T上，其中H代表 所有上下文中特征的集合，一个选定字符的上下文范围可选择为前后各两个字符，特征包 括字符本身的特性和语言学特征信息，T代表一个字符所有可能的角色标记集合，hi代表给 定一个特定上下文，ti代表某一特定角色标记。

2.如权利要求1所述基于最大熵模型建模的方法，其特征在于，所述字符的特征项包 括：所述字符的本体、角色和类型。

3.如权利要求2所述基于最大熵模型建模的方法，其特征在于，所述字符的特征项还包 括：所述字符前面字符的角色和/或类型，以及各字符组合。

4.如权利要求2所述基于最大熵模型建模的方法，其特征在于，所述字符的特征项还包 括：所述字符后面字符的本体、角色和/或类型，以及各字符组合。

5.如权利要求4所述基于最大熵模型建模的方法，其特征在于，所述字符的特征项还包 括：所述字符前面字符的角色和/或类型。

6.如权利要求2所述基于最大熵模型建模的方法，其特征在于，所述字符的特征项包 括：所述字符前两个字符的角色，所述字符后两个字符的本体和类型，以及各字符两两组 合。

7.如权利要求1至6任意一项权利要求所述基于最大熵模型建模的方法，其特征在于， 所述字符的特征项还包括：

字符语言学特征信息。

8.一种命名实体识别的方法，其特征在于，包括：

加载权利要求1所述基于字符角色标注的数据模型；

输入待识别文本，建立待识别文本中各字符的特征项，得到待识别文本字符特征项序 列；

将待识别文本中字符特征项序列，输入到所述基于字符角色标注的数据模型中，得到 具有最大产生概率的待识别文本字符角色标注序列；

对待识别文本字符角色标注序列的标注名称模式匹配，得到命名实体。

9.一种基于最大熵模型建模的装置，其特征在于，包括：

输入模块：输入标注命名实体的训练文本，该训练文本标注有中文人名和/或中文地名 信息；

标注模块：根据训练文本中标注的信息和预定义的角色信息，对训练文本中的每个字 符进行角色标记的标注，建立用于角色标注的训练文本；

建立模块：用于根据字符角色标注，建立所述字符的特征项；

建模模块：用于将所述字符的特征项输入到最大熵的建模工具中，得到基于字符角色 标注的数据模型，其中，所述最大熵的建模工具中，关于事件概率p的熵的定义公式为： 最大熵概率模型被定义在空间H×T上，其中H代表 所有上下文中特征的集合，一个选定字符的上下文范围可选择为前后各两个字符，特征包 括字符本身的特性和语言学特征信息，T代表一个字符所有可能的角色标记集合，hi代表给 定一个特定上下文，ti代表某一特定角色标记。

10.一种命名实体识别的装置，其特征在于，包括：

加载模块：用于加载权利要求1所述基于字符角色标注的数据模型；

特征项生成模块：用于输入待识别文本，建立待识别文本中各字符的特征项，得到待识 别文本字符特征项序列；

角色标注生成模块：用于将待识别文本中字符特征项序列，输入到所述基于字符角色 标注的数据模型中，得到具有最大产生概率的待识别文本字符角色标注序列；

匹配模块：用于对待识别文本字符角色标注序列的标注名称模式匹配，得到命名实体。