[发明专利]词性标注系统、用于训练词性标注模型的装置及其方法

权利要求书

1.一种词性标注系统，包括：

词性标注模型训练装置，用于基于词性层次树利用词性标注训练集中已标注的第一文本来逐层逐节点地训练词性标注模型；以及

词性标注装置，用于使用训练的词性标注模型对待标注的文本进行词性标注。

2.如权利要求1所述的词性标注系统，其中词性标注模型训练装置包括：

CRF模型训练语料构造单元，用于利用词性层次树将从词性标注训练集中已标注的第一文本逐层逐节点地标注为第二文本来构造CRF模型训练语料；以及

CRF模型训练单元，用于利用CRF模型训练语料构造单元每次标注的第二文本相应地逐层逐节点地训练CRF模型以得到词性标注模型。

3.如权利要求2所述的词性标注系统，其中CRF模型训练语料构造单元通过将第一文本中的标注词性替换为与该词性在词性层次树中的位置相对应的当前节点的子节点名称来行逐层逐节点地标注。

4.如权利要求3所述的词性标注系统，其中CRF模型训练单元以下列方式选择特征模板来逐层逐节点地训练CRF模型：

(a)当前层是第0层，特征模板包括第二文本中每一个词的前后各两个词、当前词的前字和后字以及前后各两个词之间的共现；和

(b)当前层不是第0层，特征模板包括第0层选择的特征模板和上一层的第二文本中的每一个词的前后各两个词的词性，以及词性之间的共现、词与词性之间的共现。

5.如权利要求2所述的词性标注系统，其中词性标注装置包括：

CRF模型特征构造单元，用于针对待标注文本为应用CRF模型逐层逐节点地构造特征数据；以及

CRF词性标注单元，用于根据特征数据构造单元每次构造的特征数据相应地逐层逐节点地进行词性标注。

6.如权利要求5所述的词性标注系统，其中CRF模型特征构造单元按照下列方式构建CRF模型的特征数据：

(a)当前层是第0层，从待标注文本中提取用于填充在训练CRF模型时第0层选择的特征模板的特征数据；和

(b)当前层不是第0层，使用第0层的特征数据以及从利用上一层CRFs模型对待标注文本进行标注后的第二文本中抽取特征数据。

7.如权利要求1所述的词性标注系统，还包括：

词性层次树构建装置，用于通过对词性标注训练集中的已标注文本的词性之间的关系进行分析来构建词性层次树。

8.如权利要求7所述的词性标注系统，其中词性层次树构建装置包括：

词性特征模板选择单元，用于选择表征词性特征的特征模板；

特征向量构建单元，用于根据选择的特征模板，为词性标注训练集中的词性构建对应的特征向量；

相似度计算单元，用于利用特征向量计算词性之间的相似度；以及聚类单元，用于根据相似度对词性进行聚类，以生成词性层次树。

9.如权利要求8所述的词性标注系统，还包括：

测试集构造装置，用于从词性标注训练集中随机选择已标注词性的文本集合作为测试集；

评估装置，用于对利用词性标注模型对来自测试集中的待标注文本进行词性标注的结果进行评估；以及

调整装置，用于根据评估结果对词性层次树进行调整。

10.如权利要求9所述的词性标注系统，其中调整装置对词性层次树构建装置在计算词性之间的相似度时使用的阈值进行调整。

11.如权利要求1或2所述的词性标注系统，还包括：

未登陆词词性猜测模型构造装置，用于从词性标注训练集中学习构词规则并构造未登陆词词性猜测模型；以及

未登陆词词性修正装置，用于使用未登陆词词性猜测模型对未登陆词进行词性标注，并对使用词性标注模型标注词性的未登陆词的词性进行修正。

12.一种词性标注方法，包括：

词性标注模型训练步骤，基于词性层次树利用词性标注训练集中已标注的第一文本来逐层逐节点地训练词性标注模型；以及

词性标注步骤，使用训练的词性标注模型对待标注的文本进行词性标注。