[发明专利]文本中特征词选择方法及装置

权利要求书

1.一种文本中特征词选择方法，其特征在于，包括：

利用评价函数FCD确定总文本中候选特征词的重要性值，其中，所述评价函数FCD为根据所述候选特征词的平均频度ATF、所述候选特征词的隶属度μ计算得到的，所述平均频度ATF为所述候选特征词在预定文本类别中平均出现的次数，所述隶属度μ为所述候选特征词对所述预定文本类别的隶属度；

根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词；

所述利用评价函数FCD确定总文本中候选特征词的重要性值的步骤包括：

利用对分类具有重要作用的特征在类别中的分布统计规律，定义基于平均频度、隶属度特征重要性评价函数；

对于每个候选特征词，按照重要性评价函数计算其在各个类别中的重要性值；

所述根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词的步骤包括：

通过最大值方法计算其在整个数据集中的重要性值，以此选择重要性值较大的候选特征词；

所述根据确定的所述候选特征词的重要性值，从所述候选特征词中选择预定数量的特征词的步骤之后还包括：

通过文本表示模型，把文档用计算机容易存储和处理的方式表示；

利用支持向量机学习方法，建立分类模型，实现文本分类；

对分类结果进行统计，计算出在不同特征选择算法下和不同特征个数情况下得到的分类结果。

2.根据权利要求1所述的方法，其特征在于，所述候选特征词的所述隶属度μ为根据所述候选特征词的类间集中度和所述候选特征词的类内分散度确定的，其中，所述候选特征词的类间集中度为所述候选特征词在所述预定文本类别中集中出现的程度，所述候选特征词的类内分散度为所述候选特征词在所述预定文本类别的所有文档中出现的均匀程度。

3.根据权利要求1所述的方法，其特征在于，在利用所述评价函数确定所述候选特征词的重要性值之前，还包括：

对文本进行预处理，所述预处理包括以下处理至少之一：删除已损坏文本、删除重复文本、去除格式标记、进行中文分词、利用预定算法进行词干化、将英文大写字母转换为英文小写字母、去除停用词和非法字符、去除词频小于预订数量的词语；

选择所述文本中经过所述预处理后剩余的词语作为候选特征词。

4.根据权利要求1所述的方法，其特征在于，所述评价函数FCD关于候选特征词f_i、类c_j的计算公式为：

其中，所述ATF(f_i,c_j)表示候选特征词f_i在类c_j中的频度；C为文本预定类别的集合，所述C＝{C₁，C₂，C₃，……,C_|C|}；所述R为候选特征词集合F到C上的模糊关系，所述F＝{f₁,f₂,f₃,……,f_m}；所述|c_j|为类c_j中的文本总数，所述|C|为总文本数，所述表示总文本数|C|与类c_j内的文本数的比例，所述μ_R(f_i,c_j)为R的隶属度，表示所述f_i与所述c_j的相关关系，其中，所述R为F×C上的模糊集，用于表示所述F到所述C上的一个模糊关系。

5.根据权利要求4所述的方法，其特征在于，所述候选特征词f_i在类c_j中的频度ATF(f_i,c_j)的计算公式为：

其中，所述TF(f_i,d_k)表示候选特征词且f_i在文本d_k中出现的词频，所述d_k为类c_j内的文本，所述DF(f_i,c_j)表示候选特征词f_i在类c_j中出现的文本频率，M表示在文本d_k中出现的候选特征词的种类之和。