[发明专利]一种结合评论关系网络图的微博垃圾评论识别方法有效

专利信息
申请号: 201710351745.6 申请日: 2017-05-18
公开(公告)号: CN107239512B 公开(公告)日: 2019-10-08
发明(设计)人: 周可;李春花;潘媛媛 申请(专利权)人: 华中科技大学
主分类号: G06F16/951 分类号: G06F16/951;G06F16/953;G06F16/2458;G06F17/27
代理公司: 武汉臻诚专利代理事务所(普通合伙) 42233 代理人: 宋业斌
地址: 430074 湖北省*** 国省代码: 湖北;42
权利要求书: 查看更多 说明书: 查看更多
摘要: 发明公开了一种结合评论关系网络图的微博垃圾评论识别方法,解决现有微博垃圾评论识别研究中整体识别率低、正常/垃圾评论误判率高的问题。其基本思路如下:首先将与评论相关的主体以及主体之间的关系抽取出来,建立评论关系网络图模型;其次使用Lucence全文搜索引擎为爬取到的博文语料库集创建索引并提供全文搜索功能;然后采用文本相关度模型代替传统的文本相似度计算模型得到评论与原博文的相关度,能够在传统朴素贝叶斯的基础上不仅从评论文本与原博文相关角度,对单纯基于文本概率统计模型的垃圾评论识别方法进行改进优化,同时引进了由垃圾评论特征包括是否包含垃圾连续数字、是否字重复率高于一定阙值等构成的评论布尔向量。
搜索关键词: 一种 结合 评论 关系 网络图 垃圾 识别 方法
【主权项】:
1.一种结合评论关系网络图的微博垃圾评论识别方法,其特征在于,包括如下步骤:(1)从微博平台爬取训练集、测试集、以及博文语料库,根据与微博平台中的微博评论相关的主体以及主体之间的关系构建评论关系网络图模型,并根据爬取的训练集和测试集对构建的评论关系网络图进行处理,以生成基于Neo4j开源软件的评论关系网络图;(2)使用开源的全文搜索引擎为爬取的博文语料集建立索引,使用建立的索引执行博文语料集的搜索,并根据搜索返回的结果计算文本词之间的相关度值;本步骤首先是从微博平台收集博文语料集,然后为语料集中的每条博文文本创建一个独立的文件,并使用Lucence全文搜索引擎为这些文件创建索引并提供全文搜索功能,以利用搜索返回的文件数目来计算文本词之间的相关度;其中计算文本词之间的相关度具体是采用以下公式:其中u和v均表示文本词,TextNum(u,v)表示同时包含文本词u和v的博文数目,TextNum(u)表示包含文本词u的博文数目,TextNum(v)表示包含文本词v的博文数目;(3)对评论关系网络图中的评论文本节点与博文文本节点进行基于结构信息的数据预处理操作,提取数据预处理操作结果中评论文本节点的基本元数据,并使用该基本元数据为相应节点设置节点属性值;(4)针对评论关系网络图中的每个评论文本节点,计算其评论文本与对应博文之间的文本相关度,并根据该文本相关度值在评论关系网络图中为该评论文本节点的相关度属性设置对应的相关度属性值;(5)根据步骤(1)中爬取的训练集和步骤(4)得到的相关度属性值构建初始评论文本分类器;(6)根据步骤(5)构建的初始评论文本分类器对每个测试集中的评论文本进行类别判定,并将最终的判定结果增量反馈至初始评论文本分类器中继续学习。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华中科技大学,未经华中科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/patent/201710351745.6/,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top