[发明专利]一种基于多种信息融合的微博信息过滤方法

摘要

本发明提出一种基于多种信息融合的微博信息过滤方法，属于智能信息处理技术领域。方法包括步骤1，构建分布式爬虫，抓取微博数据；步骤2，对微博数据进行预处理；步骤3，对微博数据进行中文分词，去除停用词，获取分词结果，得到词集合VOC；步骤4，从微博内容角度提取特征；步骤5，从用户角度提取微博特征；步骤6，从传播路径提取特征；步骤7，构建分类模型，筛选非垃圾微博；本发明通过结合微博信息去重和分类学习算法去除微博垃圾信息的双重过程，实现微博信息过滤，既过滤掉重复微博信息，又过滤掉垃圾微博信息。

主权项

一种基于多种信息融合的微博信息过滤方法，其特征在于，包括如下步骤：步骤一：构建分布式爬虫，抓取微博数据；步骤二：对微博数据进行预处理；采用规则集对微博数据进行预处理；预处理包括去噪和去重，具体指去除微博数据中文本长度小于长度阈值L的数据、重复的微博数据、广告内容和自动回复数据，其中一条微博数据包括微博正文和评论中的数据；步骤三、对微博数据进行中文分词，去除停用词，获取分词结果，得到词集合VOC；步骤四：从微博内容角度提取特征；微博特征包括：微博文本n‑gram、通过LDA对微博文本聚类提取的主题、微博文本中是否包含链接和微博文本中是否包含联系方式；步骤五：从用户角度提取微博特征；微博特征包括：用户名、用户关注数、粉丝数、用户平均转发和回复次数、用户注册时间、用户平均上线间隔、用户每次上线发表文章数、用户性别、所在地、个人说明和标签；步骤六：从传播路径提取特征；微博特征包括：评价传播层次、平均每层转发次数和传播衰减指数；所述的传播衰减指数的特征提取通过如下公式得到：第k'层传播衰减指数＝(传播到第k'层的微博数量‑传播到第k'+1层的微博数量)/传播到第k'层的微博数量；步骤七：构建分类模型，筛选非垃圾微博；以步骤四，步骤五和步骤六得到的微博特征为基础，构建分类模型，筛选分类，过滤掉微博垃圾；具体如下：步骤701：从微博内容角度，微博用户角度和微博传播路径3个角度选取若干特征，分别为样本数据和测试数据，将所有特征进行离散化和归一化处理；步骤702：运用分类器模型，得到最优模型参数；步骤703：交叉训练最优模型参数，使得模型针对样本数据分类具有最高精度；步骤704：将测试数据带入分类器模型进行分类。