[发明专利]基于词频差值因子的特征选择方法

权利要求书

1.基于词频差值因子的特征选择方法，其特征在于，具体按照以下步骤实施：

步骤1、选择文档数量不同、特征个数为几千甚至上万的文本类型数据集，去掉数据集中出现且文档数多于总数的25％或少于3篇的词语；针对未划分训练集和测试集的数据集则采用5折交叉验证法进行处理；

步骤2、将最优特征子集元素的个数设置为C，使用特征选择目标函数计算训练集数据每个特征词的得分，按照分数对特征词进行降序排列，选择前C个特征词组成最优特征子集；最终根据得到的最优特征子集分别完成对训练集和测试集数据的降维处理；

所述步骤2具体如下：

步骤2.1：计算训练集文档特征词的词频差值因子TDF，

所述步骤2.1具体如下：

步骤2.1.1、根据公式(1)计算术语t_i在文档d_j中出现的频率，记为tf_ij，并根据公式(2)、(3)计算术语t_i在类C_k中的平均词频

其中，k表示类别序号，tc_ij表示术语t_i在文档d_j中出现的次数，N_j表示文档d_j中的词语总数，N_k表示类C_k中的文档总数，I(d_j,C_k)用来判断文档d_j是否属于类C_k，当文档d_j属于类C_k时I(d_j,C_k)为1，反之为0；

步骤2.1.2、根据公式(4)计算术语t_i在非C_k类中所有文档的平均词频

其中，N为数据集的文档总数，N_k为类C_k中的文档总数；

步骤2.1.3、根据公式(5)计算出术语t_i的词频差值因子TDF(t_i,c_k),

步骤2.2、计算训练集数据特征词的正类文档频率影响因子以及三角比较度量因子TCM得分；

所述步骤2.2具体如下：

步骤2.2.1、根据公式(6)计算术语t_i的正类文档频率影响因子pos_ki，

其中，tp表示在类c_k中术语t_i出现的文档数量，fn表示在类c_k中术语t_i没有出现的文档数量，fp表示非c_k类中术语t_i出现的文档数量，tn表示在非c_k类中术语t_i没有出现的文档数量；

步骤2.2.2、分别计算出术语t_i在类c_k中的真正率tpr和假正率fpr，真正率假正率利用三角比较度量算法TCM，即公式(7)计算术语t_i的TCM(t_i,c_k)得分，

TCM(t_i,c_k)＝(2max(sin²θ,cos²θ)-1)^m|tpr-fpr| (7)

其中，θ表示术语t_i对应的向量(tpr,fpr)与距离最近的坐标轴之间的夹角，m是控制离轴角度对整体得分影响的参数，当m取100时效果整体达到最好；

步骤2.3：计算术语t_i的全局得分TFTCM(t_i)，得到带有权值的特征集合；

所述步骤2.3具体如下：

根据公式(8)计算术语t_i的全局得分TFTCM(t_i)，得到带有权值的特征集合：

其中，k表示类别编号，P(C_k)表示属于类C_k的文档数量在整个数据集中所占的比例；

步骤2.4、根据最终计算得到的全局得分对训练集的特征词进行降序排序，选择排名靠前的C个特征词，构成大小为C的最优特征子集；

步骤2.5、根据步骤2.4得到的最优特征子集分别对训练集数据和测试集数据进行处理，即删去文档中没有出现在最优特征子集中的特征词，保留最优特征子集包含的特征词，得到降维后的训练集和测试集数据；

步骤3、利用步骤2得到的训练集分别采用朴素贝叶斯分类器、支持向量机分类器进行训练，训练出分类模型，并对经过步骤2处理的测试集样本类别进行预测，得到分类结果；

步骤4、利用Macro-F1以及Micro-F1评估指标对分类器的分类效果进行评估，Macro-F1和Micro-F1分数越高，则证明分类的效果越好，进而证明特征选择算法性能越好。