[发明专利]一种基于Elastic Search的双活实时数据仓库建设方法有效
| 申请号： | 202011224108.0 | 申请日： | 2020-11-05 |
| 公开（公告）号： | CN112100160B | 公开（公告）日： | 2021-09-07 |
| 发明（设计）人： | 谭巍;陈卫;田浩兵;张奎;李烨 | 申请（专利权）人： | 四川新网银行股份有限公司 |
| 主分类号： | G06F16/21 | 分类号： | G06F16/21;G06F16/23;G06F16/27;G06F9/54 |
| 代理公司： | 成都智言知识产权代理有限公司 51282 | 代理人： | 濮云杉 |
| 地址： | 610094 四川省成都市高*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Elastic Search的双活实时数据仓库建设方法，涉及大数据实时计算技术领域，解决了现有技术中实时数据仓库建设存在数据的一致性无法保证的问题；本方案包括以下步骤：获取Elastic Search集群A中每个节点上的索引主分片，读取节点下每个主分片的预写日志记录；对读取的预写日志记录进行判断，将读取的数据通过同步阻塞的方式写入到Elastic Search集群B；将写入失败的数据重新写入，定时检测磁盘上存在的因写入失败而持久化的数据，将运行中的异常错误的消息发送到kafka集群中，接入监控实时告警。本发明可以保证两个集群中的数据完全一致，主要应用于大数据分析领域。 | ||
| 搜索关键词： | 一种 基于 elastic search 实时 数据仓库 建设 方法 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川新网银行股份有限公司，未经四川新网银行股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202011224108.0/，转载请声明来源钻瓜专利网。
