[发明专利]一种基于样本难度的垃圾邮件分类方法

说明书

本发明属于机器学习分类技术领域，具体涉及一种基于样本难度的垃圾邮件分类方法；能够提高垃圾邮件分类的准确性和稳定性，本发明根据邮件样本的难度信息为每个邮件样本制定统一的误分类损失函数，然后根据最小化总体误分类损失的原则提出一种更可靠和稳定的分类器算法，并将该算法应用在垃圾邮件分类中；本发明方法更加注重对简单样本的正确分类，这符合认知规律，即在误分率大致相当的情况下，该分类方法在分类难度值越小的邮件样本上误分率越低，这使得该分类方法的可信度高，更加可靠、稳定，适用性更强。

技术领域

本发明属于机器学习分类技术领域，具体涉及一种基于样本难度的垃圾邮件分类方法。

背景技术

传统垃圾邮件分类器采用诸如朴素贝叶斯、k近邻、决策树、支持向量机、神经网络和AdaBoost等算法都是平等地对待不同邮件样本，并以最小化分类器的整体误分率为优化目标。实际上，许多带有混淆信息的邮件难以被人类和机器学习方法正确分类。在现实生活中，一些相对较难的邮件被错误分类通常是可以接受的，而一个可靠、稳定的垃圾邮件分类器应该能够避免错误分类简单的样本。并且，在误分率大致相当的情况下，垃圾邮件分类器在低难度样本上的误分率越小，该分类器的性能越好，这是符合认知规律的。然而，现在垃圾邮件分类领域内的方法完全忽略了这些重要的信息，大多数垃圾邮件分类器的设计只是关注对相对较难的样本进行正确分类，以达到更高的精度。而这些相对较难的样本很可能是异常值或噪音点，如果过于关注这些样本，很可能发生过拟合问题。

综上所述，如何在不损失分类准确率的情况下区分出这些难样本并减少其对垃圾邮件分类器泛化性能的影响是一个值得研究的问题。因此，有必要将样本的分类难度信息引入到垃圾邮件分类规则的设计中，以改善分类性能。

发明内容

为了克服上述问题，本发明提供一种基于样本难度的垃圾邮件分类方法，能够提高垃圾邮件分类的准确性和稳定性，本发明根据邮件样本的难度信息为每个邮件样本制定统一的误分类损失函数，然后根据最小化总体误分类损失的原则提出一种更可靠和稳定的分类器算法，并将该算法应用在垃圾邮件分类中；本发明方法更加注重对简单样本的正确分类，这符合认知规律，即在误分率大致相当的情况下，该分类方法在分类难度值越小的邮件样本上误分率越低，这使得该分类方法的可信度高，更加可靠、稳定，适用性更强。

一种基于样本难度的垃圾邮件分类方法，具体步骤包括：

步骤一：从统计学的角度，采用一个统一的计算规则来计算邮件样本的分类难度值，并将带有分类难度值的训练样本输入到分类器中，让分类器进行学习，得到弱分类器，带有分类难度值的训练样本指的是带标签的邮件训练样本，即带有标签为垃圾邮件的训练样本和标签为非垃圾邮件的训练样本；

步骤二：根据邮件样本的分类难度值计算邮件样本的误分类代价；

步骤三：根据邮件样本的误分类代价初始化邮件样本权重；

步骤四：根据初始邮件样本权重按照以下方法来训练步骤一中得到的弱分类器：

根据第一个弱分类器的表现对带有分类难度值的训练样本的分布进行调整，使得被前一个弱分类器错分的训练样本在后续迭代中更受重视，即增加其权重；同时，训练样本权重的更新规则还和训练样本的分类难度值成负相关，即在错分的训练样本中样本的分类难度值越小，样本获得的权重越大，则其在错分的训练样本中更受重视，而后根据调整后的训练样本分布来训练下一个弱分类器，如此重复训练直到迭代结束；

步骤五：运用基于自适应学习的函数模型将得到的全部弱分类器进行加权投票，获得最终结果，其中，f(χ_i)是指全部弱分类器进行加权投票后得到的最终分类器，即邮件分类结果，φ_t是按序调整数据分布而得到的第t个弱分类器，χ_i代表邮件样本，w是弱分类器的权重，w₀是初始化权重，w_t是指训练弱分类器的权重，T是迭代次数。