[发明专利]一种通用的网络社区可信分布式采集存储系统有效
| 申请号： | 201811126541.3 | 申请日： | 2018-09-26 |
| 公开（公告）号： | CN109446441B | 公开（公告）日： | 2020-11-03 |
| 发明（设计）人： | 吴旭;吴海涛;段思澍;许晋;颉夏青 | 申请（专利权）人： | 北京邮电大学 |
| 主分类号： | G06F16/955 | 分类号： | G06F16/955;G06F16/951 |
| 代理公司： | 北京辰权知识产权代理有限公司 11619 | 代理人： | 刘广达 |
| 地址： | 100876 *** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种通用的网络社区可信分布式采集存储系统，包括：分布式数据采集框架、快速开发框架、可信框架以及数据存储框架，其中，所述分布式数据采集框架采用了多元异构的形式，用于分布式并行的数据采集；所述快速开发框架包括多种快速开发模块，用于实现对系统的快速开发；所述可信框架包括多种性质验证模块，用于实现对数据采集过程中的多种性能的保证以及对存储数据的多种性能进行验证；所述数据存储框架包括多种数据存储模块，用于对多种复杂结构数据进行存储。本发明不但解决了现有爬虫框架中缺乏对数据可信性验证的问题，还针对结构复杂的数据设计了多种存储模块用于实现对其的有效存储；通过快速开发框架，使得开发过程更加方便和快速。 | ||
| 搜索关键词： | 一种 通用 网络 社区 可信 分布式 采集 存储系统 | ||
【主权项】：
1.一种通用的网络社区可信分布式采集存储系统，其特征在于，包括：分布式数据采集框架，采用多元异构的形式进行构建，用于分布式的数据并行采集；快速开发框架，具有多种快速开发模块，用于可信分布式采集存储系统的快速开发；可信框架，具有多种性质验证模块，用于连续的、实时的、完整的获取数据，并对获取的数据进行真实性验证，保障存储数据的真实性；数据存储框架，具有多种数据存储模块，用于对多种类型数据进行存储。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京邮电大学，未经北京邮电大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811126541.3/，转载请声明来源钻瓜专利网。
