[发明专利]一种文本分类特征选择方法

摘要

本发明提供一种文本分类特征选择方法，能够降低特征维度和分类复杂度、并提高分类准确性。所述方法包括：获取特征集S和目标类别C，计算特征集S中每一个特征x⁽ⁱ⁾与目标类别C之间的关联度R_c(x⁽ⁱ⁾)，并按照关联度R_c(x⁽ⁱ⁾)大小对特征集S进行降序排序；计算特征集S中每两个特征之间的冗余度R_x和协同度S_x，结合特征与目标类别之间的关联度R_c(x⁽ⁱ⁾)计算特征的灵敏度Sen，并将其与预先设定的阈值th比较，结合对特征集S的降序排序结果，按照阈值th将特征集S划分为候选集S_sel和排除集S_exc；计算候选集S_sel和排除集S_exc中的特征之间的灵敏度Sen，并将其与预先设定的阈值th比较，按照阈值th对候选集S_sel和排除集S_exc进行调整。本发明适用于机器学习文本分类领域。

主权项

1.一种文本分类特征选择方法，其特征在于，包括：步骤1：获取特征集S和目标类别C，计算特征集S中每一个特征x⁽ⁱ⁾与目标类别C之间的关联度R_c(x⁽ⁱ⁾)，并按照关联度R_c(x⁽ⁱ⁾)大小对特征集S进行降序排序；步骤2：计算特征集S中每两个特征之间的冗余度R_x和协同度S_x，结合特征与目标类别之间的关联度R_c(x⁽ⁱ⁾)计算特征的灵敏度Sen，并将其与预先设定的阈值th比较，结合对特征集S的降序排序结果，按照阈值th将特征集S划分为候选集S_sel和排除集S_exc；步骤3：计算候选集S_sel和排除集S_exc中的特征之间的灵敏度Sen，并将其与预先设定的阈值th比较，按照阈值th对候选集S_sel和排除集S_exc进行调整；其中，所述冗余度R_x表示为：R_x(x⁽ⁱ⁾；x^(j))＝min(0，IG(x⁽ⁱ⁾；x^(j)；C))，i≠j其中，IG(x⁽ⁱ⁾；x^(j)；C)表示特征集S中第i个特征x⁽ⁱ⁾与第j个特征x^(j)之间的相关度增益，R_x(x⁽ⁱ⁾；x^(j))表示特征x⁽ⁱ⁾与特征x^(j)之间冗余度，R_x(x⁽ⁱ⁾；x^(j))的值为0和相关度增益中的较小值；其中，所述协同度S_x表示为：S_x(x⁽ⁱ⁾；x^(j))＝max(0，IG(x⁽ⁱ⁾；x^(j)；C))，i≠j其中，IG(x⁽ⁱ⁾；x^(j)；C)表示特征集S中第i个特征x⁽ⁱ⁾与第j个特征x^(j)之间的相关度增益，S_x(x⁽ⁱ⁾；x^(j))表示特征x⁽ⁱ⁾与特征x^(j)之间协同度，S_x(x⁽ⁱ⁾；x^(j))的值为0和相关度增益中的较大值；其中，所述灵敏度Sen(x⁽ⁱ⁾)表示为：Sen(x⁽ⁱ⁾)＝R_c(x⁽ⁱ⁾)+αmin(R_x(x⁽ⁱ⁾；x^(j)))+βmax(S_x(x⁽ⁱ⁾；x^(j)))，j≠i其中，α和β分别是冗余度R_x和协同度S_x的权值，min(R_x(x⁽ⁱ⁾；x^(j)))表示特征x⁽ⁱ⁾与其余特征之间冗余度的最小值，max(S_x(x⁽ⁱ⁾；x^(j)))表示特征x⁽ⁱ⁾与其余特征之间协同度的最大值，Sen(x⁽ⁱ⁾)表示特征x⁽ⁱ⁾对目标类别C的灵敏度，R_c(x⁽ⁱ⁾)表示特征x⁽ⁱ⁾与目标类别C之间的关联度。