[发明专利]基于OLAP/OLTP混合应用的数据存储系统及方法有效
申请号: | 201810320910.6 | 申请日: | 2018-04-11 |
公开(公告)号: | CN108616581B | 公开(公告)日: | 2021-07-16 |
发明(设计)人: | 吕骏 | 申请(专利权)人: | 深圳纳实大数据技术有限公司 |
主分类号: | H04L29/08 | 分类号: | H04L29/08;G06F16/182;G06F9/50 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518000 广东省深圳市前海深港合作区前*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 olap oltp 混合 应用 数据 存储系统 方法 | ||
1.一种基于OLAP/OLTP混合应用的数据存储系统,其特征在于,包括:
负载均衡服务器,通过请求访问判断配置文件中路由服务器是否存活,并统计请求分配可用的路由服务器使其达到负载均衡;
路由服务器,与所述负载均衡服务器实现通信,用于实现数据写入过程和数据查询过程;所述路由服务器为Mongos服务器,所述Mongos服务器应用的是Mongos DB数据库;
配置服务器,与所述路由服务器实现通信,用于存放数据的元数据信息,并根据所述分片服务器的分片索引记录每一个数据存放于所述分片服务器的位置;所述分片索引时通过所述分片服务器片键出来的索引,用来记录每一个数据存放的分片位置;所述配置服务器通过使用多台所述分片服务器形成主从备份,进行容灾;
分片服务器,与所述路由服务器实现通信,用于实现异步备份和分离读写;所述分片服务器设置于至少两个副本集服务器中,所述至少两个副本集服务器包括一个主节点和至少一个从节点,所述从节点与主节点之间分别实现异步同步,所述从节点通过主节点与所述路由服务器实现通信;所述副本集服务器用于存储数据副本集,一个副本集服务器包括多个分片服务器,所述副本集服务器同步机制使用mongo DB的异步同步机制;
所述数据存储系统,用于通过所述负载均衡服务器与所述配置服务器的配合,来提升所述路由服务器的数据吞吐量,并通过配置多个所述路由服务器,来提升所述数据存储系统的数据吞吐量;
所述路由服务器的整体工作过程包括:
步骤S1,应用客户端通过所述路由服务器进行数据查询或数据写入操作;
步骤S2,所述路由服务器在执行数据写入或数据查询前需请求所述配置服务器,以获取相关分片服务器的信息;
步骤S3,所述路由服务器将数据写入操作分发给指定的分片服务器
步骤S4,所述路由服务器将各分片服务器返回的数据进行聚合计算后返回给所述应用客户端。
2.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统,其特征在于,所述负载均衡服务器基于分布式内存数据库,通过请求访问判断配置文件中路由服务器是否存活,对死亡节点对应的路由服务器进行剔除,在预设的第一固定时间后重新请求并判断各个节点是否存活;同时,通过统计请求分配可用的路由服务器使其达到负载均衡。
3.根据权利要求1所述的基于OLAP/OLTP混合应用的数据存储系统,其特征在于,每隔预设的第二固定时间进行开源数据库集群信息的查询,自动更新相关配置,所述相关配置包括写入刷新时间和读取刷新时间。
4.根据权利要求1至3任意一项所述的基于OLAP/OLTP混合应用的数据存储系统,其特征在于,所述路由服务器实现数据写入过程包括以下步骤:
步骤A1,应用客户端访问所述负载均衡服务器以获取路由服务器地址;
步骤A2,所述负载均衡服务器返回可用的路由服务器地址;
步骤A3,应用客户端访问所述路由服务器,请求写入数据;
步骤A4,所述路由服务器发送请求至所述配置服务器,获取该写入记录;
步骤A5,返回数据所在的分片服务器的地址;
步骤A6,根据所述分片服务器的地址向指定的分片服务器写入数据。
5.根据权利要求4所述的基于OLAP/OLTP混合应用的数据存储系统,其特征在于,所述步骤A2包括以下子步骤:
步骤A201,将每台路由服务器设置独立的key存储在内存中,路由服务器的值默认为0;
步骤A202,当发生写入操作或更新操作时,所述路由服务器的值加n,K秒后自动减n,n和k均为自然数;
步骤A203,当发生聚合操作时,所述路由服务器的值加m,K秒后自动减m,m为自然数;
步骤A204,当发生查询操作时,所述路由服务器的值加i,K秒后自动减i,i为自然数;
步骤A205,当发生请求分配路由服务器时,取上述路由服务器的值中的最小值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳纳实大数据技术有限公司,未经深圳纳实大数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810320910.6/1.html,转载请声明来源钻瓜专利网。