[发明专利]一种基于多种信息融合的微博信息过滤方法

权利要求书

1.一种基于多种信息融合的微博信息过滤方法，其特征在于，包括如下步骤：

步骤一：构建分布式爬虫，抓取微博数据；

步骤二：对微博数据进行预处理；

采用规则集对微博数据进行预处理；预处理包括去噪和去重，具体指去除微博数据中文本长度小于长度阈值L的数据、重复的微博数据、广告内容和自动回复数据，其中一条微博数据包括微博正文和评论中的数据；

步骤三、对微博数据进行中文分词，去除停用词，获取分词结果，得到词集合VOC；

步骤四：从微博内容角度提取特征；

微博特征包括：微博文本n-gram、通过LDA对微博文本聚类提取的主题、微博文本中是否包含链接和微博文本中是否包含联系方式；

步骤五：从用户角度提取微博特征；

微博特征包括：用户名、用户关注数、粉丝数、用户平均转发和回复次数、用户注册时间、用户平均上线间隔、用户每次上线发表文章数、用户性别、所在地、个人说明和标签；

步骤六：从传播路径提取特征；

微博特征包括：评价传播层次、平均每层转发次数和传播衰减指数；

所述的传播衰减指数的特征提取通过如下公式得到：

第k'层传播衰减指数＝(传播到第k'层的微博数量-传播到第k'+1层的微博数量)/传播到第k'层的微博数量；

步骤七：构建分类模型，筛选非垃圾微博；

以步骤四，步骤五和步骤六得到的微博特征为基础，构建分类模型，筛选分类，过滤掉微博垃圾；具体如下：

步骤701：从微博内容角度，微博用户角度和微博传播路径3个角度选取若干特征，分别为样本数据和测试数据，将所有特征进行离散化和归一化处理；

步骤702：运用分类器模型，得到最优模型参数；

步骤703：交叉训练最优模型参数，使得模型针对样本数据分类具有最高精度；

步骤704：将测试数据带入分类器模型进行分类。

2.根据权利要求1所述的一种基于多种信息融合的微博信息过滤方法，其特征在于，所述的步骤三具体如下：

步骤301：对微博数据进行中文分词同时去除停用词；

步骤302：对微博数据中的英文词进行形态变换，转换到统一形式；包括将时态统一为一般现在时，将语态统一为主动语态；

步骤303：计算每个词的文档频率df和词频tf；

文档频率df：是指出现过该词的文件个数除以文件集中的文件总数；

词频tf：是指该词在文件中出现的次数除以该文件的总词语数；

步骤304：计算每个词的特征强度ft；特征强度ft定义为：

ft=log(tfidf+1+1)]]>

其中idf代表逆文档频率，是文档频率df的倒数；

步骤305：提取特征强度ft大于特征强度阈值T的词，构成词集合VOC。