[发明专利]一种垃圾邮件的特征选择方法及其检测方法

说明书

技术领域

本发明涉及计算机网络安全技术领域，尤其涉及一种垃圾邮件的特征选择方法及其检测方法。

背景技术

随着互联网的快速发展，电子邮件成为了新型的信息传递工具，凭借其价格低廉、方便快捷等优点，广泛的应用于各个领域。然后广泛的使用也带来了一些负面的影响，大量的垃圾邮件充斥在人们的邮箱中，不仅影响了用户的正常使用，而且对运营商的形象产生了损害。许多垃圾邮件系统应运而生，但是面临着数据量大、运行效率低等问题。

传统的垃圾邮件过滤方法，包括Flexible Bayes、决策树、SVM、Boosting在内的很多机器学习方法都被应用到垃圾邮件过滤中。从目前的研究结果看，Flexible Bayes、SVM、Boosting、Winnow 等这些机器学习方法在一些小规模数据上似乎可以达到实用化的程度。但是对于大规模数据来说，训练分类器会花费大量时间，而且由于数据繁杂，难以得到最优的训练模型。

在目前的特征方法当中，针对高维二值数据的特征选择方法研究甚少，目前还没有有效的解决办法。传统的方法可以处理二值数据的特征选择，但是对于高维的数据来说，那些方法往往复杂度很高，难以在实际应用中取得良好的效果。

发明内容

(一)要解决的技术问题

本发明的目的是提供一种垃圾邮件的特征选择方法及其检测方法，以解决现有特征选择方法以及传垃圾邮件检测方法中存在的计算复杂度高，花费时间多，且难以在实际应用中取得良好的效果的问题。

(二)技术方案

为了达到上述目的，本发明提出了一种垃圾邮件的特征选择方法，包括：

基于字节的N-grams方法进行邮件的特征提取；

根据提取的特征与预设邮件类别的相关度进行特征排序生成初始特征子集；

根据近似马尔科夫毯算法删除所述初始特征子集中的冗余特征得到候选特征子集；

通过在线逻辑回归分类器对所述候选特征子集进行预测并根据预测结果对所述候选特征子集进行评价选择最优特征子集。

本发明还提出了一种基于上述垃圾邮件的特征选择方法的垃圾邮件检测方法，包括：

根据所述最优特征子集利用在线逻辑回归分类器对垃圾邮件进行检测。

优选地，所述基于字节的N-grams方法进行邮件的特征提取具体包括：

将邮件按照字节流进行预设长度的字节切分得到所述邮件的hash字典；

将预设样本与所述hash字典进行特征对比得到与所述hash字典对应的特征集。

优选地，所述将预设样本与所述hash字典进行特征对比得到与所述hash字典对应的特征集具体为：

当所述hash字典中的特征在所述预设样本中出现则所述hash字典对应位置的特征值设为1，若未出现，则所述hash字典对应位置的特征值设为0，得到一个稀疏的二值特征数据集。

优选地，所述根据提取的特征与预设邮件类别的相关度进行特征排序生成初始特征子集具体包括：

计算提取的特征与预设邮件类别的相对密度，具体如下：

其中，F为特征集，F_i为特征集中的第i个特征，C为预设邮件类别集，C_l为类别集中的第l个类别，为类别C_l所含样本数，L为类别总数，M为特征总数，表示第i个特征数值为1时相对于类别C_l的相对密度，且

根据所述相对密度判断所述提取的特征与预设邮件类别的相关度；

根据所述相关度进行特征排序生成初始特征子集。

优选地，所述根据相对密度判断所述提取的特征与预设邮件类别的相关度具体包括：

根据所述相对密度进行相关度计算，公式如下：

其中，W(F_i)_diff的范围为[0,1]，表示第i个特征数值为1时相对于类别C₁的相对密度，表示第i个特征数值为1时相对于类别C₀的相对密度，且当W(F_i)_diff＝0时，表示特征F_i与类别最不相关，当W(F_i)_diff＝1，表示特征F_i与类别最相关；