[发明专利]基于半监督的垃圾图片过滤方法

说明书

技术领域

本发明是一种通过半监督学习方法，利用已标签图片样例，来训练支持向量机算法模型，对图像型垃圾邮件进行检测的实现方案，主要解决了当今的技术对图像型垃圾邮件检测效率和召回率低等问题，属于数据挖掘和机器学习领域。

背景技术

文本型垃圾邮件过滤技术的不断提高，驱使着垃圾邮件制造者们探索新的垃圾邮件制作技术。于是，图像型垃圾邮件便成为了当今盛行的垃圾信息传播媒介。根据McAfee在2007年的报告，图像型垃圾邮件在所有垃圾邮件中所占的比例大约是30%。图像型垃圾邮件是将广告等垃圾信息以文本的形式嵌入到图片中，作为电子邮件的附件或者直接作为其正文内容，肆意地传播给电子邮件客户端。

Battista Biggio等人在2007年提出了一种通过计算图像周长复杂度的方法[5]来判别图片是否经过了模糊技术的处理。图像的复杂度可以由周长复杂度来衡量的，计算公式为P2/A（P指的是文字区域的周长，A指的是文字区域的面积）。计算灰度图像的每个对象的周长复杂度可以标识断字符或者是噪音对象的出现，也就可以判断出图像是自然生成的还是人工处理过的。然而由于不能证实经过模糊处理的图像就是携带垃圾信息的图像，这种处理技术只能作为垃圾邮件过滤系统中预处理某个模块。Ngo Phuong Nhung与Tu Minh Phuong提出了通过挖掘图片的边缘特征的方法[6]，最后使用支持向量机作为分类工具。该方法是通过比较从Email中提取出的图片与样本图片的边缘特征，然后使用支持向量机将这些特征向量分类。使用边缘特征来检测图像Spam能够获取80%的准确率，这类分类算法的优点在于使用边缘特征能够获取文本密集的形状规律性而且计算量不大，而存在的不足之处在于对于模版上文字字体的改变的反应比较迟钝。

Klangpraphant, P.等人在2010年提出的方法特征是基于图像内容的信息检索。从网络中收到邮件之后，将邮件分成图像型和关键字型邮件。关键字型邮件就直接以5*5矩阵的形式呈现给用户；而图像型邮件则进行特征比较。首先，建立一个垃圾图像的特征集，再将图像邮件的特征跟之比较，相似度高达3/4以上的就可归为垃圾图像；否则就进行下一步比较。比较结果的差别率在10%以下归为垃圾图像；相反，差别率在10%以上就将图像以5*5矩阵的形式呈献给用户。

2010年Yan Gao提出了分别从服务器端与客户端进行图像型垃圾邮件过滤。服务器端利用基于非负稀疏矩阵的相似性检测。该检测方法是基于一个基本假设：集合中的任何数据样本或者特征向量可以由同一个聚类中的一小组样本的非负线性组合来表示。但是事先并不知道一个样本属于哪个聚类，所以提出通过求一个最优化问题得到非负线性组合的系数矩阵，处理后得到相似性矩阵，从而成功识别出该样本所在聚类，完成相似性检测过程。客户端是利用两种主动学习方法，分别是基于支持向量机的和基于高斯分布的主动学习分类器。主动学习的主要思想是使用标签好的训练集来训练基于主动学习的分类器，然后使用该分类器对未标签的数据集进行分类，根据分类器的最高的分类结果来判断未标签的数据集是否需要标签，继而更新标签集合与未标签集合。

本文提出通过在线学习来训练支持向量机的算法，以得到一个高精确度且稳定的分类器。由于获取已标签的样本需要耗费大量的人力、物力，而获取未标签的样本则相对容易的多。所以，我们需要做的工作是从未标签的样本中提取含信息量丰富的样本点，加入并更新训练集合。从而利用不断更新的训练集来训练支持向量机，直到其分类精确度趋于稳定，得到高精确的分类结果。

[1] Battista Biggio,Giorgio Fumera,Ignazio Pillai,Fabio Ro  Image spam filtering by content obscuring detection  Fourth Conference on Email and Anti-Spam, August 2-3, 2007

[2] Pattarapom Klangpraphant .detect image spam with content base information retrieval. 978-1-4244-5540-9/10/$26.00 ?2010 IEEE

[3] Yan Gao, Alok Choudhary . Sparsity induced similaritymeasure for label propagation.