[发明专利]基于众包思想的社交网络大数据采集系统在审
| 申请号： | 201711239174.3 | 申请日： | 2017-12-01 |
| 公开（公告）号： | CN110019090A | 公开（公告）日： | 2019-07-16 |
| 发明（设计）人： | 祁建明;周峻松;徐继峰;陈墩金 | 申请（专利权）人： | 广州明领基因科技有限公司 |
| 主分类号： | G06F16/182 | 分类号： | G06F16/182;G06F16/13;G06F16/25;G06F16/951;G06F9/48;G06Q50/00 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 510610 广东省广州市天河区*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于众包思想的社交网络大数据采集系统，该系统包括：服务端模块、客户端模块、存储子系统模块以及爬虫子系统模块；其中，所述服务端模块是系统控制的核心，控制任务在下发前的一切操作以及结果校验等工作；所述客户端模块置于分布式机器节点中，通过socket套接字与服务端通信，接收服务端模块命令、调用主题爬虫程序等；所述存储子系统模块采用HDFS，具体的数据获取工作由主题爬虫程序使用Http Client对象来模拟浏览器操作完成；所述爬虫子系统模块均为主题爬虫，置于分布式机器节点中，通过Http Client对象模拟浏览器操作实现。本发明方案引入众包思想，并利用了Hadoop分布式文件系统存储结果数据，提高了数据获取速度以及信息检索效率。 | ||
| 搜索关键词： | 主题爬虫 存储子系统 服务端模块 客户端模块 子系统模块 爬虫 采集系统 机器节点 社交网络 数据获取 大数据 分布式文件系统 存储结果数据 模拟浏览器 操作完成 程序使用 对象模拟 接收服务 结果校验 模块命令 系统控制 信息检索 服务端 浏览器 调用 引入 通信 | ||
【主权项】：
1.基于众包思想的社交网络大数据采集系统，其特征在于，所述系统包括：服务端模块、客户端模块、存储子系统模块以及爬虫子系统模块；其中，所述服务端模块是系统控制的核心，控制任务在下发前的一切操作以及结果校验等工作；所述客户端模块置于分布式机器节点中，通过socket套接字与服务端通信，接收服务端模块命令、调用主题爬虫程序等；所述存储子系统模块采用HDFS，具体的数据获取工作由主题爬虫程序使用HttpClient对象来模拟浏览器操作完成；所述爬虫子系统模块均为主题爬虫，置于分布式机器节点中，通过HttpClient对象模拟浏览器操作实现。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于广州明领基因科技有限公司，未经广州明领基因科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201711239174.3/，转载请声明来源钻瓜专利网。
- 上一篇：基于大数据存储架构的空间数据存储管理系统
- 下一篇：一种异地数据协同系统
