[发明专利]一种实时垃圾电子邮件过滤方法及系统

说明书

技术领域

本发明涉及电子邮件领域，尤其涉及一种实时垃圾电子邮件过滤方法及系统。

背景技术

电子邮件系统是互联网应用的一个成功典范，它给人们的工作和生活带来了极大的便利，使不同国家的人们可以方便、快捷的进行合作。电子邮件系统通过简单邮件传输协议(Simple Mail Transfer Protocol，SMTP)进行信息传输，在其内部中传递的信件一般称之为电子邮件(E-mail)。

根据SMTP协议，邮件的传送过程可分为发送、传输和接收三个阶段，如图1所示。

发送邮件客户端向邮件服务器发送电子邮件为发送阶段：发送邮件客户端可能是合法用户也可能是垃圾邮件发送者，他们将编辑好的邮件发送到发送邮件服务器。

邮件在发送邮件服务器和接收邮件服务器之间传送为传输阶段：发送邮件服务器根据接收到邮件的目的地址，依照SMTP协议将该邮件发送到接收邮件服务器，此阶段多个发送邮件服务器产生的邮件大量汇集于骨干网链路。

接收邮件服务器接收目标地址为本网域的邮件为接收阶段。

在上述运用SMTP协议传输电子邮件的整个过程中，通过对发送阶段、传输阶段或接收阶段进行邮件流量的检测和过滤，有助于限制垃圾邮件的传输。

目前，在发送阶段和接收阶段使用的垃圾邮件过滤技术大致可分为内容过滤和接入过滤两种，但少有可用于传输阶段的过滤技术。

内容过滤技术通过建立“垃圾邮件特征库”的方法来阻止垃圾邮件，通过对邮件的信封、信头和信体等内容进行对比检测，从而对垃圾邮件进行过滤。此外，人们还采用了散列技术、贝叶斯算法等。贝叶斯算法可以学习单词的频率和模式，这样可以将垃圾邮件和正常邮件关联起来进行判断。这是一种相对于关键字来说，更复杂和更智能化的内容过滤技术。内容过滤技术的缺点是速度慢、需要用户不断更新规则库或训练集等，随着垃圾邮件制造者技术水平的不断提高，这种方法很容易失效。

接入过滤技术对邮件信头部分进行检查，可以提前发现或阻断非法信息，且不侵犯个人隐私。常见的方法有实时黑名单、邮资策略、基于DNS的验证技术、路径分析法等。

实时黑名单实际上是一组可供查询的IP地址列表。使用黑名单服务的软件向黑名单服务器发出查询请求，如果该地址被列入了黑名单，那么服务器会返回一个有效地址的答案；反之将得到一个否定答案。目前世界上大多数的主流邮件服务器都支持实时黑名单服务，因此该名单是可信任的。但这种方式最大弊端是容易发生“误判”，比如ISP提供的虚拟主机服务，一旦某个用户被认定发送垃圾邮件，就会导致该IP地址所在整个网域被列入黑名单，其它的用户也会受到牵连。

邮资策略的原理是发送者要为每封信件付出一定的代价，即所谓的邮资，这个代价与发信规模成正比，对于合法的发送者来说是可以接受的，但对大规模垃圾邮件发送者来说是难以承担的。反向图灵机测试就是每个发送者必须首先通过邮件服务器的一个简单的测试，例如准确描述图片中的数字等，从而证明发送者是人而不是机器。邮资策略处理速度较慢，无法应用于实时处理的环境。

基于DNS的验证技术的原理是，接收邮件服务器收到一封邮件时通过DNS解析和DNS反解析查询发送者IP地址或域名信息，如果查询结果与邮件宣称的内容不符，则认为该信件为垃圾邮件而拒收。基于DNS的验证技术对于使用虚假域名发送垃圾邮件的情况比较有效，但对于通过被控制的、具有真实域名的结点发送垃圾邮件的情况就无能为力了。同时，不支持反向DNS验证的合法网域也将被视为垃圾邮件源，易产生误报。此外，基于DNS的验证技术处理速度较慢，一般无法应用于实时处理的环境。

基于路径分析的垃圾邮件过滤其原理是，通过邮件信头中的接收行字段(Received line)中的路径信息来统计邮件服务器的历史行为，从而判断其以后是否会发送垃圾邮件。该方法以标注过的邮件集(分为垃圾邮件、合法邮件两类)为输入，提取接收行中所有邮件服务器对应的IP地址，统计这些地址在垃圾邮件与合法邮件中的出现频率，为其评分建立邮件服务器的信誉度。然后，对于收到的一封邮件，如果其来自于信誉度较高的邮件服务器，则被标注为合法邮件，否则将被标注为垃圾邮件。

由于垃圾邮件发送者可以伪造邮件的路径信息，可能使接收行信息的可用性较差，影响过滤算法的准确率；此外，这种方法需要完整的接收行及经过标注的样本数据，很难应用于传输阶段的邮件流量过滤。