[发明专利]基于微内容相似度的反垃圾方法

说明书

技术领域

本发明涉及互联网微内容的反垃圾方法，特别涉及一种基于微内容相似度的反垃圾方法。

背景技术

Blog是继Email、BBS、ICQ之后出现的第四种网络交流方式，是网络时代的个人“读者文摘”，是以超级链接为武器的网络日记，是代表着新的生活方式和新的工作方式，更代表着新的学习方式。但是，在反垃圾邮件的技术日渐成熟的现在，将Blog评论作为散布广告和宣传的手段也越来越受到商家和普通网友的欢迎。这导致Blog上的垃圾评论越来越多，极大地浪费了网络带宽，Blog拥有者和阅读者的时间，以及系统资源，使使用者不厌其烦，已经成为阻碍Blog普及的一大难题。

目前常用的反垃圾评论的技术和方法有：

1)置词组过滤，对一些敏感的词语进行过滤或屏蔽，但是这种过滤对于敏感词语的变种防范能力要差一些，如拆字等，并且随着词库的不断增大，维护和运行效率都受到影响。但这是一种最为快捷的方法，可以起到立竿见影的防范效果。

2)设置校验码，通过对校验码进行合法性校验来防止机器人提交。不过目前机器人还是可以通过OCR或者穷举的方法进行渗透，即使是特意修改的版本，只要下功夫就可以找到方法破解。同时给正常用户也带来了一些障碍。

3)检查Refer，通过HTTP协议中的Refer字段过滤掉那些未访问页面而直接进站评论的连接，这也是防盗链的方法之一，效率很高。但如果使用特殊修改过的工具伪装HTTP协议进行提交，此方法将束手无策。

4)控制连续提交间隔，此举防止恶意机器人对数据库进行饱和攻击，减小服务器负担，但不能治本，属于被动的消极防御。

5)基于内容评分，实现阈值分割，智能判断是否为垃圾评论。此方法最为科学合理，但需要服务器做大量的处理，增加了服务器负担，若再连接到远程服务器，服务质量可能因网络而无法保证。

因此以上方法都不能完全满足在线实时鉴别垃圾评论的需求。

发明内容

本发明目的在于提供一种基于微内容相似度的反垃圾方法。

本发明解决其技术问题采用的技术方案是，该方法的步骤如下：

1)通过将人为鉴别为垃圾的评论进行聚类，产生聚类垃圾文件，包含多个垃圾分类；

2)使用垃圾鉴别器根据聚类垃圾文件，对未知评论进行鉴别。

所述的垃圾评论聚类过程为：

1)聚类垃圾文件初始为空；

2)当有新的人为鉴别为垃圾的垃圾评论时，如下条件与步骤有选择性的加入到聚类垃圾文件中：

第一步从所有垃圾分类中任意选取一条垃圾评论作为该垃圾分类的典型样本；

第二步新垃圾评论与所有垃圾分类的典型样本进行相似度评分；

第三步对第二步中与未知垃圾拥有最高相似度评分的典型样本所在垃圾分类，新垃圾评论评论再与该垃圾分类所有垃圾进行评论相似度评分，计算其最高相似度得分；

第四步若最高相似度得分小于某指定阈值，则将新垃圾评论作为一个新的垃圾分类；否则若最高相似度得分小于另一指定阈值则将新垃圾评论评论加入到已有分类中作为一个新垃圾评论样本；否则忽略该新垃圾评论。

所述的垃圾鉴别算法步骤如下：

1)从所有垃圾分类中任意选取一条垃圾评论作为该垃圾分类的典型样本；

2)未知评论与所有垃圾分类的典型样本进行相似度评分；

3)对上步骤2)中与未知垃圾拥有最高相似度评分的典型样本所在垃圾分类，未知评论再与该垃圾分类所有垃圾进行评论相似度评分；

4)若未知评论与上述垃圾分类所有垃圾进行评论相似度评分的最大值超过指定阈值，则判定未知评论为垃圾评论。

本发明具有的有益效果是：

避免了待处理垃圾评论与所有已聚类垃圾进行相似度比较，有效地减少了评论相似度的比较次数，提高了垃圾鉴别和聚类垃圾文件维护的效率，能够适应互联网上海量垃圾鉴别的性能需求。

附图说明

图1是本发明的基于垃圾相似度的反垃圾方法流程图。

图2是本发明的将垃圾评论插入聚类垃圾文件的算法流程图。

图3是本发明的垃圾鉴别器对未知评论进行鉴别的算法流程图。

具体实施方式

本发明对于评论相似度的概念定义如下：

词：不可分割的语义单元；

高频词：类似“的”、“啊”的无语义，需要被过滤掉的词语；

评论：词的有限集合，将原始评论进行分词，过滤掉高频词后的结果；

评论的词个数：该评论词集合的势——该集合所包含的元素个数；

评论的“交”：词集合的交运算；

评论的“并”：词集合的并运算；