[发明专利]一种结合评论关系网络图的微博垃圾评论识别方法

说明书

本发明公开了一种结合评论关系网络图的微博垃圾评论识别方法，解决现有微博垃圾评论识别研究中整体识别率低、正常/垃圾评论误判率高的问题。其基本思路如下：首先将与评论相关的主体以及主体之间的关系抽取出来，建立评论关系网络图模型；其次使用Lucence全文搜索引擎为爬取到的博文语料库集创建索引并提供全文搜索功能；然后采用文本相关度模型代替传统的文本相似度计算模型得到评论与原博文的相关度，能够在传统朴素贝叶斯的基础上不仅从评论文本与原博文相关角度，对单纯基于文本概率统计模型的垃圾评论识别方法进行改进优化，同时引进了由垃圾评论特征包括是否包含垃圾连续数字、是否字重复率高于一定阙值等构成的评论布尔向量。

技术领域

本发明属于知识发现与数据挖掘领域，更具体地，涉及一种结合评论关系网络图的微博垃圾评论识别方法和系统。

背景技术

伴随着微博平台影响力的不断扩大，微博平台上出现了大量带有广告营销性质、恶意攻击言语的垃圾评论信息。这些垃圾评论信息在没有其他监管措施的情况下，会不断的充斥在正常用户发表的正常信息当中，对平台中正常用户的用户体验产生很不好的影响，甚至会威胁到微博网络平台发展的稳定与和谐。目前国内外针对微博垃圾评论识别的方法主要有两类：基于评论内容的垃圾评论识别和基于垃圾用户的垃圾评论识别。

基于评论内容的垃圾评论识别主要是从评论本身的文本特征出发，挖掘其中潜在的垃圾评论特征，其中有从评论文本与原博文的文本相似角度判断，也有单纯的从评论文本本身包含的垃圾信息特征出发进行挖掘。该方法的不足为：在只有几个字符的短评论文本中文本特征相当不明显，并且从评论与对应博文的文本相似角度出发对于垃圾评论的判定会存在比较大的误差，因此垃圾识别准确度低。

基于垃圾用户的垃圾评论识别主要是利用垃圾用户发表垃圾评论概率更大的性质对平台中的垃圾用户先进行识别，常用的社交蜜罐技术可以主动引导垃圾用户靠近，用户行为分析技术包括用户URL使用率、非空转发比等。该方法的不足为：由于该方法并没有对评论本身做一定的分析，而是直接基于垃圾用户一定会发表垃圾评论这样的判定来进行识别，导致垃圾识别准确率低。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供了一种结合评论关系网络图的微博垃圾评论识别方法和系统，其目的在于，解决现有微博平台垃圾评论识别方法中存在的垃圾评论整体识别率低、正常/垃圾评论误判率高的问题。

为实现上述目的，按照本发明的一个方面，提供了一种结合评论关系网络图的微博垃圾评论识别方法，包括如下步骤：

(1)从微博平台爬取训练集、测试集、以及博文语料库，根据与微博平台中的微博评论相关的主体以及主体之间的关系构建评论关系网络图模型，并根据爬取的训练集和测试集对构建的评论关系网络图进行处理，以生成基于Neo4j开源软件的评论关系网络图；

(2)使用开源的全文搜索引擎为爬取的博文语料集建立索引，使用建立的索引执行博文语料集的搜索，并根据搜索返回的结果计算文本词之间的相关度值；

(3)对评论关系网络图中的评论文本节点与博文文本节点进行基于结构信息的数据预处理操作，提取数据预处理操作结果中评论文本节点的基本元数据，并使用该基本元数据为相应节点设置节点属性值；

(4)针对评论关系网络图中的每个评论文本节点，计算其评论文本与对应博文之间的文本相关度，并根据该文本相关度值在评论关系网络图中为该评论文本节点的相关度属性设置对应的相关度属性值；

(5)根据步骤(1)中爬取的训练集和步骤(4)得到的相关度属性值构建初始评论文本分类器；

(6)根据步骤(5)构建的初始评论文本分类器对每个测试集中的评论文本进行类别判定，并将最终的判定结果增量反馈至初始评论文本分类器中继续学习。

优选地，评论关系网络图中的节点包括用户节点、博文文本节点、评论文本节点、以及文本词节点；