[发明专利]基于部分匹配预测的垃圾邮件分类方法

权利要求书

1.一种基于部分匹配预测的垃圾邮件过滤方法，其特征在于包括如下步骤：

1)将新邮件变换成为ASCII值在032-127范围内ASCII字符表对应的字符，如果原邮件中的字不在ASC II码字符表032～127ASC II值对应字符范围内，则这些字全部转换成为ASC II码字符表中001～031ASC II值中的任意一个对应的字符，变换后得到由001～127ASC II值对应字符组成的一个字符串；

2)取出以往垃圾邮件训练集、正常邮件训练集、垃圾邮件预测集和正常邮件预测集；

3)将正常邮件训练集经过部分匹配预测算法，训练成正常邮件模型，将垃圾邮件训练集经过部分匹配预测算法，训练成垃圾邮件模型；

4)将新邮件变换后得到的字符串和垃圾邮件模型进行交叉熵运算，将新邮件变换后得到的字符串和正常邮件模型进行交叉熵运算；

5)获得最小交叉熵的模型决定了新邮件是否是垃圾邮件或者正常邮件的分类结果；

6)新邮件分类完成之后，将新邮件加入预测集，进行分类预测后，重新训练集，使模型再继续学习，得到新的模型。

2.根据权利要求1所述的一种基于部分匹配预测的垃圾邮件分类方法，其特征在于所述的将新邮件变换成为ASCII值在032-127范围内ASCII字符表对应的字符，如果原邮件中的字不在ASC II码字符表032～127ASC II值对应字符范围内，则这些字全部转换成为ASC II码字符表中001～031ASC II值中的任意一个对应的字符，变换后得到由001～127ASC II值对应字符组成的一个字符串步骤：合并标题和正文，并合并连续的空白符，新邮件中的每个英文字，数字，常见的符号，按照ASC II码字符表转换成相应的字符，如果邮件中的字不在ASC II码字符表中的032～127ASC II值所对应的字符范围内，则全部用ASC II码字符表中任意一个001～031ASC II值对应字符代替，规定邮件字数应不超过3000字，如果超过3000字，则截去3000字以后的部分，保留前3000个字变换后组成的字符串，这就是新邮件转换后的字符串。

3.根据权利要求1所述的一种基于部分匹配预测的垃圾邮件分类方法，其特征在于所述的将正常邮件训练集经过部分匹配预测算法，训练成正常邮件模型，将垃圾邮件训练集经过部分匹配预测算法，训练成垃圾邮件模型步骤：利用部分匹配预测方法，在垃圾邮件训练集和正常邮件训练中，建立上下文字典树，对垃圾邮件训练集和正常邮件训练集进行训练，得到垃圾邮件模型和正常邮件模型。

4.根据权利要求1所述的一种基于部分匹配预测的垃圾邮件分类方法，其特征在于所述的将新邮件变换后得到的的字符串和垃圾邮件模型进行交叉熵运算，将新邮件变换后得到的字符串和正常邮件模型进行交叉熵运算步骤：交叉熵公式为：当|x|变大时，这个估计值将越来越接近实际值，其中L(x|M)表示在M模型下理想的x的代码长度，且L(x)＝-logf(x)，f(x)是x的概率密度函数。文件d上估计的交叉熵以H(X，M，d)表示，利用上述公式，得到字符串和垃圾邮件的交叉熵，字符串和正常邮件的交叉熵。

5.根据权利要求1所述的一种基于垃圾邮件的分类方法，其特征在于所述的获得最小交叉熵的模型决定了新邮件是否是垃圾邮件或者正常邮件的分类结果步骤：根据字符串和垃圾邮件的交叉墒，以及字符串和正常邮件的交叉墒，对新邮件是否是正常邮件和垃圾邮件按如下方法分类：

其中，M代表在C训练集中的所有例子。由于C(d)的范围为[0，1]，设定值b＝0.5，当C(d)≥b时，邮件为垃圾邮件，当C(d)＜b时，邮件为正常邮件。

6.根据权利要求1所述的一种基于垃圾邮件的分类方法，其特征在于所述的新邮件分类完成之后，可以将新邮件加入预测集，进行分类预测后，重新训练集，使模型再继续学习，得到新的模型步骤：将已经完成分类的邮件，加入到相应预测集中，判断分类是否错误，如果正确，将新邮件加入到相应训练集中再次训练，得到新的垃圾邮件和正常邮件模型。