[发明专利]一种基于Elasticsearch和微博评论的网络写手检测方法

说明书

本发明公开了一种基于Elasticsearch和微博评论的网络写手检测方法，包括以下步骤：(1)获取微博信息、微博用户信息和每条微博下的评论信息，将获取到的以上信息按照不同文档类型存放至数据库Elasticsearch中；(2)：通过Elasticsearch的模糊搜索，找出每条微博下评论信息相似度高的账号，形成疑似网络写手账号集合；根据疑似网络写手账号所发的微博内容再次验证疑似网络写手账号是否为网络写手账号。本发明可以实时查找并计算出一条评论内容的相似评论，再使用其发布的微博信息二次判断此账号是否为网络写手账号，利用搜索引擎数据库的高并发特性实现高效率计算查找，从而实现对网络写手的检测，用以提高社交平台的用户体验质量，避免垃圾信息传播造成不良影响。

技术领域

本发明属于社交网络分析技术领域，具体为一种基于 Elasticsearch和微博评论的网络写手检测方法。

背景技术

随着互联网的快速发展，许多社交平台也不断涌现，微博就是其中一种社交媒体。微博具有实时性、快捷性高、传播性强，信息共享迅速等特点，为用户信息获取、相关信息传播、各种营销提供了很好的平台。但是此平台有泛娱乐化倾向，容易产生谣言、容易使用户丧失独立思考、理性批判的能力，而网络写手的出现，不仅使这些负面特点不断放大，而且容易扰乱良好的社交秩序。

一些用户或企业为了提高自身的影响力、曝光度等，在发布一条微博后，买网络写手对此条微博进行转发评论，达到炒作或者宣传的效果，甚至有用户会发布一些虚假消息、恶俗消息通过网络写手转发评论以提高曝光度，因此对网络写手的识别已成为目前必须要面对和解决的问题。

发明内容

针对现有方案的不足，本发明公开了一种基于Elasticsearch和微博评论的网络写手检测方法，实现对网络写手的高效检测，以提高微博社交平台的用户体验质量，避免过多垃圾信息传播等造成的不良影响。

本发明技术方案是：

一种基于Elasticsearch和微博评论的网络写手检测方法，其包括以下步骤：

(1)数据采集：获取微博信息、微博用户信息和每条微博下的评论信息，将获取到的以上信息按照不同文档类型存放至数据库 Elasticsearch中；Elasticsearch提供一个分布式的实时全文搜索引擎；

(2)数据分析和网络写手评定：通过Elasticsearch的模糊搜索，找出每条微博下评论信息相似度高的账号，形成疑似网络写手账号集合；根据疑似网络写手账号所发的微博内容再次验证疑似网络写手账号是否为网络写手账号。

优选地，步骤(1)中，通过微博官方API或网络爬虫获取微博信息、微博用户信息和每条微博下的评论信息。

优选地，步骤(1)中，所述的微博信息包括微博内容、微博id、发文时间和发博用户id；所述的微博评论信息包括微博id、评论内容、评论时间、回复数、点赞数和评论数；微博用户信息包括用户 id、微博数、粉丝数、注册地域、vip类型、vip等级和是否进行身份认证。

优选地，步骤(1)中，Elasticsearch引擎在处理全文搜索包括以下步骤：

(1.1)分析需要查询的字符串，对字符串进行分词；

(1.2)对分词的结果构建查询，查询结果按score评分排序得到数据集，评分策略使用TF/IDF；

(1.3)返回前k条与之相似的语句。

优选地，步骤(2)中，获取疑似网络写手账号集合具体包括以下步骤：

(2.1)计算同一微博下评论之间的相似性，取出评论中的一条数据，使用Elasticsearch对其进行模糊搜索，并得出与之相关度最高的前n条；