[发明专利]一种微博数据处理方法及系统在审
申请号: | 201310091409.4 | 申请日: | 2013-03-20 |
公开(公告)号: | CN104063390A | 公开(公告)日: | 2014-09-24 |
发明(设计)人: | 叶凯;刘东升 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 深圳中一专利商标事务所 44237 | 代理人: | 张全文 |
地址: | 518044 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 系统 | ||
1.一种微博数据处理方法,其特征在于,所述方法包括:
抓取预设微博平台的微博数据;
对所述微博数据进行过滤及分类;
分类存储过滤后的微博数据;
根据查询指令查询分类存储后的微博数据;
根据处理指令对所述查询到的微博数据进行处理。
2.如权利要求1所述的方法,其特征在于,所述根据查询指令查询分类存储后的微博数据包括:
根据查询指令查询并显示查询到的分类存储后的微博数据;
所述根据处理指令对所述查询到的微博数据进行处理包括:
根据处理指令对所述查询到的微博数据进行处理,并显示对所述微博数据进行处理的处理状态信息。
3.如权利要求1所述的方法,其特征在于,所述抓取预设微博平台的微博数据包括:
通过微博爬虫,抓取预设微博平台的微博数据。
4.如权利要求1所述的方法,其特征在于,所述抓取预设微博平台的微博数据包括:
向所述预设微博平台发送微博数据请求消息,所述请求消息包含预设业务关键字,所述预设业务关键字为表示业务类型的字段;
接收并解析所述预设微博平台根据所述请求消息返回的微博数据。
5.如权利要求1所述的方法,其特征在于,所述对所述微博数据进行过滤及分类包括:
根据预设监控关键字列表,确定所述微博数据中每一条微博数据的权重值以及所属分类,所述监控关键字列表包括多个监控关键字、每个监控关键字对应的权重值以及每个监控关键字所属的类别,所述监控关键字为需要监控的字段;
判断每一条微博数据的权重值是否大于预设权重阈值,若大于,分类存储过滤后的微博数据,若小于,则删除所述微博数据。
6.如权利要求5所述的方法,其特征在于,所述根据预设的监控关键字列表,确定所述微博数据中每一条微博数据的权重值以及所属分类包括:
将每一条微博数据中监控关键字的权重值求和,得到每一条微博数据的权重值;
统计每一条微博数据中监控关键字的类别,将所述微博数据中最多监控关键字所属的类别作为所述微博数据的分类。
7.如权利要求5所述的方法,其特征在于,所述根据预设监控关键字列表,确定所述微博数据中每一条微博数据的权重值以及所属分类之后,所述方法还包括:
判断发布每一条微博数据的用户的ID是否在预设监控用户集合中,所述预设监控用户集合包括待监控用户的ID信息,若是,则对所述微博数据的权重值进行调整,调整后判断每一条微博数据的权重值是否大于预设权重阈值,若否,则判断每一条微博数据的权重值是否大于预设权重阈值。
8.如权利要求1所述的方法,其特征在于,所述分类存储过滤后的微博数据包括:
根据发布每一条微博数据的用户ID及URL地址,判断数据库中是否包含所述微博数据,若是,则结束,若否,则分类存储过滤后的微博数据。
9.一种微博数据处理系统,其特征在于,所述系统包括:
数据抓取单元,用于抓取预设微博平台的微博数据;
数据过滤单元,用于对所述微博数据进行过滤及分类;
数据存储单元,用于分类存储过滤后的微博数据;
数据查询单元,用于根据查询指令查询分类存储后的微博数据;
数据处理单元,用于根据处理指令对所述查询到的微博数据进行处理。
10.如权利要求9所述的系统,其特征在于,所述数据查询单元,用于根据查询指令查询并显示查询到的分类存储后的微博数据;
所述数据处理单元,用于根据处理指令对所述查询到的微博数据进行处理,并显示对所述微博数据进行处理的处理状态信息。
11.如权利要求9所述的系统,其特征在于,所述数据抓取单元,用于通过微博爬虫,抓取预设微博平台的微博数据。
12.如权利要求9所述的系统,其特征在于,所述数据抓取单元包括:
发送模块,用于向所述预设微博平台发送微博数据请求消息,所述请求消息包含预设业务关键字,所述预设业务关键字为表示业务类型的字段;
接收模块,用于接收并解析所述预设微博平台根据所述请求消息返回的微博数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201310091409.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:多维体
- 下一篇:智能终端软件的压力测试方法、装置和系统