[发明专利]一种挖掘词汇的方法及装置

权利要求书

1.一种挖掘词汇的方法，其特征在于，包括：

确定第一语料集中第一候选词的特征值；

根据所述第一候选词的特征值，确定分类器；

确定第二语料集中第二候选词以及第二候选词的特征值；

根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇；

根据所述目标词汇的特征值，确定所述目标词汇的领域分数；

根据所述领域分数确定所述目标词汇的领域。

2.根据权利要求1所述的挖掘词汇的方法，其特征在于，所述第一候选词的特征值包括所述第一候选词的重复度、所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的规则特征值；

所述确定第一语料集中第一候选词的特征值包括：

计算所述第一候选词的词频或者文档频度，确定所述第一候选词的所述词频或者所述文档频度为所述第一候选词的重复度；

计算所述第一候选词的互信息或者卡方检验或者色子矩阵，确定所述第一候选词的所述信息或者所述卡方检验或者所述色子矩阵为所述第一候选词的内聚度；

计算所述第一候选词的左右熵，确定所述第一候选词的所述左右熵为所述第一候选词的自由度；

将发现规则转换为发现特征，以及将过滤规则转换为过滤特征，分别计算所述第一候选词的发现特征值和过滤特征值。

3.根据权利要求2所述的挖掘词汇的方法，其特征在于，所述计算所述第一候选词的左右熵包括：

根据预设规则计算所述第一候选词的左右熵；所述预设规则为当所述第一候选词的左侧或者右侧出现临界点时，确定所述临界点为一个单独的字符。

4.根据权利要求2所述的挖掘词汇的方法，其特征在于，所述将发现规则转换为发现特征包括：将发现出的候选词和未发现出的候选词标记为不同的发现特征值；

所述将过滤规则转换为过滤特征包括：将过滤出的候选词和未过滤的候选词标记为不同的过滤特征值。

5.根据权利要求3或4所述的挖掘词汇的方法，其特征在于，所述根据所述第一候选词的特征值，确定分类器包括：

根据所述第一候选词的重复度过滤第一候选词，获得第三候选词；

根据所述第一候选词的内聚度、所述第一候选词的自由度以及所述第一候选词的所述发现特征值和所述过滤特征值，以及所述第三候选词，训练分类器。

6.根据权利要求5所述的挖掘词汇的方法，其特征在于，所述根据所述第二候选词、所述第二候选词的特征值以及所述分类器，对所述第二候选词分类，并确定所述第二候选词中的目标词汇包括：

对所述第二候选词、所述第二候选词的特征值应用所述分类器，将所述第二候选词的分类为词汇和垃圾串；

将所述垃圾串删除；

确定所述词汇为所述第二候选词中的目标词汇。

7.根据权利要求1或6所述的挖掘词汇的方法，其特征在于，所述根据所述目标词汇的特征值，确定所述目标词汇的领域分数包括：

根据所述目标词汇的特征值，确定所述目标词汇的词汇分数；

根据所述目标词汇的词汇分数，确定所述目标词汇的领域分数。

8.根据权利要求7所述的挖掘词汇的方法，其特征在于，所述根据所述目标词汇的特征值，确定所述目标词汇的词汇分数包括：

根据S(w，D)＝R(w，D)*I(w，D)*F(w，D)确定所述目标词汇的词汇分数，其中，所述S(w，D)表示所述第二语料集所属领域D的目标词汇w的词汇分数，所述R(w，D)表示所述第二语料集所属领域D的目标词汇w的重复度，所述I(w，D)表示所述第二语料集所属领域D的目标词汇w的内聚度，所述F(w，D)表示所述第二语料集所属领域D的目标词汇w的自由度。