[发明专利]一种数据处理平台和系统有效
| 申请号： | 201710245078.3 | 申请日： | 2017-04-14 |
| 公开（公告）号： | CN106980699B | 公开（公告）日： | 2020-02-14 |
| 发明（设计）人： | 蔡云鹏;李奇;李晓燕;杨玉洁;程敬;吴红艳;李烨 | 申请（专利权）人： | 中国科学院深圳先进技术研究院 |
| 主分类号： | G06F16/27 | 分类号： | G06F16/27 |
| 代理公司： | 44316 深圳市科进知识产权代理事务所(普通合伙) | 代理人： | 曹卫良 |
| 地址： | 518055 广东省深圳市*** | 国省代码： | 广东;44 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本发明提供了一种数据处理平台和系统，其中，所述数据处理平台，包括：相互交互的Spark集群、ElasticSearch集群和HBase集群；Spark集群，用于监测数据库产生的增量数据，对数据库产生的增量数据进行处理，并把处理后的增量数据导入ElasticSearch集群和HBase集群；HBase集群，用于存储Spark集群处理后的增量数据；ElasticSearch集群，用于将处理后的增量数据与快速查询数据合并。通过本发明实施例提供的数据处理平台和系统，可以减轻Spark集群的存储压力。 | ||
| 搜索关键词： | 一种 数据处理 平台 系统 | ||
【主权项】：
1.一种数据处理平台，其特征在于，包括：相互交互的Spark集群、ElasticSearch集群和HBase集群；/n所述Spark集群，用于监测数据库产生的增量数据，对所述数据库产生的增量数据进行处理，并把处理后的增量数据导入ElasticSearch集群和HBase集群，其中，所述增量数据包括：数据类型标识；/n所述HBase集群，用于存储所述Spark集群处理后的所述增量数据；/n所述ElasticSearch集群，用于将处理后的所述增量数据与快速查询数据合并；/n所述ElasticSearch集群，包括：多个ElasticSearch节点；/n所述多个ElasticSearch节点分别与所述Spark集群和所述HBase集群交互；/n所述多个ElasticSearch节点均用于将处理后的所述增量数据与快速查询数据合并；/n当所述多个ElasticSearch节点中有ElasticSearch节点出现故障时，故障ElasticSearch节点获取所述HBase集群中存储的所述增量数据进行增量数据恢复；/n所述故障ElasticSearch节点获取所述HBase集群中存储的所述增量数据进行增量数据恢复，包括：/n所述故障ElasticSearch节点向所述ElasticSearch集群中其他ElasticSearch节点发送第一增量数据恢复指令，所述第一增量数据恢复指令中携带有数据恢复时间段；/n当在预设的恢复数据获取时长内收到其他ElasticSearch节点返回的所述数据恢复时间段内增量数据的恢复数据时，所述故障ElasticSearch节点通过增量数据的恢复数据进行增量数据恢复；/n当在预设的恢复数据获取时长内未收到其他ElasticSearch节点返回的所述数据恢复时间段内的增量数据恢复数据时，向所述HBase集群发送第二增量数据恢复指令，所述第二增量数据恢复指令中携带有数据恢复时间段和所述故障ElasticSearch节点的标识；/n所述故障ElasticSearch节点获取所述HBase集群返回的增量恢复数据，并通过所述增量恢复数据进行增量数据恢复。/n
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院深圳先进技术研究院，未经中国科学院深圳先进技术研究院许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710245078.3/，转载请声明来源钻瓜专利网。
