[发明专利]一种基于多种信息融合的微博信息过滤方法

说明书

技术领域

本发明属于智能信息处理技术领域，具体涉及一种基于多种信息融合的微博信息过滤方法。

背景技术

微博，作为一种新的传播载体，包含了大量用户针对人物、事件等的微博信息，因此在网络舆情发起和传播中起着重要作用，并成为网络舆情浏览和分析的重要数据源之一。但是，在微博空间，便捷的“转发”操作以及快速增长的“网络水军”，使得大量相同或相似的数据在微博空间内迅速传播。同时，噪音微博作为一种宣传手段也迅猛蔓延到微博空间的各个角落。对于网络舆情分析而言，噪音微博通常没有意义，相同或相似的微博也只具有一定的统计意义。对于微博用户的浏览而言，用户会发现自己看到的微博数据很多，但真正得到的有意义的信息量却有限，浪费了时间和精力。同时，这类微博的存在也严重影响到了信息检索的准确性，大大降低了分析的可信性。因此，对微博客文本信息进行过滤提纯，对于减轻用户浏览理解和系统存储的负担，提高文本内容检索、网络舆情分析的效率等都具有十分重要的意义。

虽然微博的研究目前已成为一个热点，但总体上，针对微博的文本过滤技术还处于起步阶段。考虑到微博的传播性、用户相关性、以及其具有的时间相关性等特点，目前已有的多种针对文本内容本身的信息过滤方法已不足以满足微博信息过滤的要求。

发明内容

本发明在分析了中文微博客文本流中噪音微博和相似微博特点的基础上，提出了针对微博文本流的噪音判别和内容相似性双重检测的过滤方法，具体是指：一种基于多种信息融合的微博信息过滤方法。

具体步骤为：

步骤一：构建分布式爬虫，抓取微博数据。

步骤二：对微博数据进行预处理。

采用规则集对微博数据进行预处理；预处理包括去噪和去重，具体指去除微博数据中文本长度小于长度阈值L的数据、重复的微博数据、广告内容和自动回复数据，其中一条微博数据包括微博正文和评论中的数据。

步骤三、对微博数据进行中文分词，去除停用词，获取分词结果，得到词集合VOC。

步骤四：从微博内容角度提取特征。微博特征包括：微博文本n-gram、通过LDA对微博文本聚类提取的主题、微博文本中是否包含链接和微博文本中是否包含联系方式。

步骤五：从用户角度提取微博特征。

微博特征包括：用户名、用户关注数、粉丝数、用户平均转发和回复次数、用户注册时间、用户平均上线间隔、用户每次上线发表文章数、用户性别、所在地、个人说明和标签。

步骤六：从传播路径提取特征。

微博特征包括：评价传播层次、平均每层转发次数和传播衰减指数。

步骤七：构建分类模型，筛选非垃圾微博；

以步骤四，步骤五和步骤六得到的微博特征为基础，构建分类模型，筛选分类，过滤掉微博垃圾。

步骤701：从微博内容角度，微博用户角度和微博传播路径3个角度选取若干特征，分别为样本数据和测试数据，将所有特征进行离散化和归一化处理。

步骤702：运用分类器模型，得到最优模型参数；

步骤703：交叉训练最优模型参数，使得模型针对样本数据分类具有最高精度。

步骤704：将测试数据带入分类器模型进行分类。

本发明的优点和积极效果在于：

1)一种基于多种信息融合的微博信息过滤方法，通过对微博数据实时抓取后再进行过滤，实现了保留高质量微博数据的目标。

2)一种基于多种信息融合的微博信息过滤方法，通过结合微博信息去重和分类学习算法去除微博垃圾信息的双重过程，实现微博信息过滤，既过滤掉重复微博信息，又过滤掉垃圾微博信息。

3)一种基于多种信息融合的微博信息过滤方法，将微博传播路径特征引入分类训练模型，使垃圾微博识别准确度更高。

4)一种基于多种信息融合的微博信息过滤方法，通过URL、字符率、高频词等特征判别，过滤噪音微博；通过分段过滤和索引过滤的双重内容过滤，检测和剔除相似微博。该方法能有效的对海量中文微博数据进行提纯，准确地过滤掉其中的噪音微博和相似微博。

说明书附图

图1是本发明一种基于多种信息融合的微博信息过滤方法总体流程图。

图2是本发明一种基于多种信息融合的微博信息过滤方法的数据预处理过程。

图3是本发明中关于中文分词的流程图。

图4是本发明实施例中普通热门信息的传播路径示例图。

图5是本发明实施例中垃圾热门信息的传播路径示例图。

具体实施方式