[发明专利]一种垃圾邮件的特征选择方法及其检测方法

权利要求书

1.一种垃圾邮件的特征选择方法，其特征在于，包括：

基于字节的N-grams方法进行邮件的特征提取；

根据提取的特征与预设邮件类别的相关度进行特征排序生成初始特征子集；

根据近似马尔科夫毯算法删除所述初始特征子集中的冗余特征得到候选特征子集；

通过在线逻辑回归分类器对所述候选特征子集进行预测并根据预测结果对所述候选特征子集进行评价选择最优特征子集；

所述基于字节的N-grams方法进行邮件的特征提取具体包括：

将邮件按照字节流进行预设长度的字节切分得到所述邮件的hash字典；

将预设样本与所述hash字典进行特征对比得到与所述hash字典对应的特征集；

所述将预设样本与所述hash字典进行特征对比得到与所述hash字典对应的特征集具体为：

所述hash字典中的特征在所述预设样本中出现则所述hash字典对应位置的特征值设为1，若未出现，则所述hash字典对应位置的特征值设为0，得到一个稀疏的二值特征数据集；

所述根据提取的特征与预设邮件类别的相关度进行特征排序生成初始特征子集具体包括：

计算提取的特征与预设邮件类别的相对密度，具体如下：

其中，F为特征集，F_i为特征集中的第i个特征，C为预设邮件类别集，C_l为类别集中的第l个类别，为类别C_l所含样本数，L为 类别总数，M为特征总数，表示第i个特征数值为1时相对于类别C_l的相对密度，且

根据所述相对密度判断所述提取的特征与预设邮件类别的相关度；

根据所述相关度进行特征排序生成初始特征子集。

2.如权利要求1所述的方法，其特征在于，所述根据相对密度判断所述提取的特征与预设邮件类别的相关度具体包括：

根据所述相对密度进行相关度计算，公式如下：

其中，W(F_i)_diff的范围为[0,1]，表示第i个特征数值为1时相对于类别C₁的相对密度，表示第i个特征数值为1时相对于类别C₀的相对密度，且当W(F_i)_diff＝0时，表示特征F_i与类别最不相关，当W(F_i)_diff＝1，表示特征F_i与类别最相关；

将W(F_i)_diff作为评价准则，对所述W(F_i)_diff与预设阈值ω进行比较，判断所述特征F_i与预设邮件类别的相关度。

3.如权利要求1所述的方法，其特征在于，所述根据近似马尔科夫毯算法删除所述初始特征子集中的冗余特征得到候选特征子集具体包括：

初始化特征子集，对于所述初始特征子集中的特征F_i依据相关系数从所述初始特征子集中选取和所述F_i最相关的K个特征，所述相关系数的计算公式如下：

其中，f_i和c_i分别是特征F_i和类别C_i的分量，n为样本的个数，和是特征F_i和类别C_i均值，计算公式如下：

将这K个特征组成集合M_i，并将所述M_i作为特征F_i的近似马尔科夫毯计算所述特征F_i的分值δ_G(F_i|M_i)，计算公式如下：

其中，D_KL表示相对熵，是衡量变量之间相似度的指标，计算公式如下：

根据所述分值δ_G(F_i|M_i)删除所述初始特征子集中的冗余特征得到候选特征子集。