[发明专利]一种词汇质量挖掘评价方法及装置

权利要求书

1.一种词汇质量挖掘评价方法，其特征在于，该方法包括：

对海量的分类数据进行词汇的文档频率(DF)分布统计；

根据词汇的DF分布统计对词汇进行多个单一角度度量；

根据词汇的各单一角度度量进行词汇的多角度度量，得到词汇的重要度权重。

2.根据权利要求1所述的方法，其特征在于，所述对海量的分类数据进行词汇的DF分布统计，包括：

统计词汇在各个类别的分类数据中的DF分量；

将词汇的各个DF分量的总和作为词汇在所有分类数据中的DF。

3.根据权利要求1所述的方法，其特征在于，所述单一角度度量包括：逆文档频率(IDF)、平均逆文档频率(AVAIDF)、卡方、信息增益(IG)、互信息(MI)、期望交叉熵(ECE)、信息熵(ENT)和选择倾向性。

4.根据权利要求3所述的方法，其特征在于，进行所述IG度量时，具体包括：

将所有候选词汇基于DF进行区间划分；

基于划分得到的各个区间对应的分类数据计算词汇的IG。

5.根据权利要求1所述的方法，其特征在于，所述根据词汇的各单一角度度量进行词汇的多角度度量得到词汇的重要度权重，包括：

按照词汇的DF对各个候选词汇进行级别划分；

根据词汇所在级别区间确定词汇的多角度度量，得到词汇在对应级别区间的重要度权重。

6.根据权利要求5所述的方法，其特征在于，所述按照词汇的DF对各个候选词汇进行级别划分，包括：

根据各词汇在所有分类数据中的DF划分级别区间；

根据词汇在所有分类数据中的DF将相应词汇划分至对应级别区间。

7.根据权利要求1至6任一所述的方法，其特征在于，

所述对海量的分类数据进行词汇的DF分布统计之前进一步，包括：对海量的分类数据中的词汇进行预处理；和/或，

所述得到词汇的重要度权重之后，进一步包括：根据词汇的重要度权重对词汇进行质量分级。

8.根据权利要求7所述的方法，其特征在于，所述根据词汇的重要度权重对词汇进行质量分级，包括：

针对各个级别区间分别设置重要阈值和常用阈值，所述级别区间是根据各词汇在所有分类数据中的DF划分得到的；在各个级别区间内依据设置的所述两个阈值与词汇在对应级别区间的重要度权重之间的关系对词汇进行质量分级；对各个级别区间对应的词汇的重要度权重进行归一处理，得到词汇的综合重要度权重；基于词汇的所述综合重要度权重，针对不同级别区间的所有同一质量等级的词汇进行相应质量等级的综合质量分级；

或者，

对各个级别区间对应的词汇的重要度权重进行归一处理，得到词汇的综合重要度权重，所述级别区间是根据各词汇在所有分类数据中的DF划分得到的；针对归一处理后的区间设置重要阈值和常用阈值；依据设置的所述两个阈值与词汇的综合重要度权重之间的关系对所有词汇进行综合质量分级。

9.一种词汇质量挖掘评价装置，其特征在于，该装置包括：

DF分布统计单元，用于对海量的分类数据进行词汇的DF分布统计；

单角度度量单元，用于基于词汇的DF分布统计对词汇进行多个单一角度度量；

多角度度量单元，用于根据词汇的各单一角度度量进行词汇的多角度度量，得到词汇的重要度权重。

10.根据权利要求9所述的装置，其特征在于，所述DF分布统计单元包括：

DF分量统计模块，用于统计词汇在各个类别的分类数据中的DF分量；

DF计算模块，用于将词汇的各个DF分量的总和作为词汇在所有分类数据中的DF。

11.根据权利要求9所述的装置，其特征在于，所述单角度度量单元包括：IDF模块、AVAIDF模块、卡方模块、IG模块、MI模块、ECE模块、ENT模块和选择倾向性模块。

12.根据权利要求11所述的装置，其特征在于，所述IG模块包括：

区间划分模块，用于将所有候选词汇基于DF进行区间划分；

IG计算模块，用于基于划分得到的各个区间对应的分类数据计算词汇的IG。