[发明专利]一种分布式数据库集群系统数据分流方法在审
申请号: | 202110254934.8 | 申请日: | 2021-03-09 |
公开(公告)号: | CN112632193A | 公开(公告)日: | 2021-04-09 |
发明(设计)人: | 况忠强;王汉瑛;吴生勇;谢旭东;苏德财;李尤兵;曹茜;冯治龙;明玉琢;李文彬;许雄基 | 申请(专利权)人: | 成都虚谷伟业科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/2458;G06F16/22 |
代理公司: | 成都聚蓉众享知识产权代理有限公司 51291 | 代理人: | 张辉 |
地址: | 610000 四川省成*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 数据库 集群 系统 数据 分流 方法 | ||
本发明公开了一种分布式数据库集群系统数据分流方法,包括如下步骤:设置主控服务器并设置所管理的数据对象;设置数据对象的标识,关联主控服务器;设置工作服务器;设置存储服务器;主控服务器分别连接工作服务器与存储服务器;客户端连通工作服务器;工作服务器接收请求信息流,处理后转化为控制信息流;识别控制信息流,将该控制信息流与数据对象进行匹配;生成处理后的控制信息流并将其输出至存储服务器;调取与元数据对应的数据并转化为数据信息流;工作服务器获取数据信息流,处理后生成处理结果集,输出至客户端。本发明极大的降低了网络流量,减轻了主控服务器的工作负载。
技术领域
本发明属于分布式数据库技术领域,具体涉及一种分布式数据库集群系统数据分流方法。
背景技术
分布式数据库系统通常使用较小的计算机系统,每台计算机中都可能有DBMS的一份完整拷贝副本,或者部分拷贝副本,并具有自己局部的数据库,位于不同地点的许多计算机通过网络互相连接,共同组成一个完整的、全局的逻辑上集中、物理上分布的大型数据库。
分布式数据库的数据处理一般是由主控服务器、工作服务器和存储服务器完成。目前,市面上常规的数据处理方式是采用MPP系统进行处理。这样的处理方式大多是由主控服务器接受用户请求,然后进行任务分配。这样的方式,主控服务器的数据流过大,主控服务器的工作负载过大,时间一长主控服务器就会成为整个系统中的一个性能瓶颈。因此,要如何保证整个数据处理过程中的安全稳定,是亟待解决的问题。
发明内容
本发明所要解决的技术问题便是针对上述现有技术的不足,提供一种分布式数据库集群系统数据分流方法,工作服务器和主控服务器之间只有控制信息流和元数据流,而无直接的数据信息流,这样的设计,极大的降低了网络流量,减轻了主控服务器的工作负载。
本发明所采用的技术方案是:一种分布式数据库集群系统数据分流方法,包括如下步骤:
步骤10、设置数个主控服务器并设置每个主控服务器所管理的数据对象;
步骤20、设置每个数据对象的标识,关联该标识与主控服务器;
步骤30、设置数个工作节点,依次连接每个工作节点,形成工作服务器;
步骤40、设置数个存储节点,依次连接每个存储节点,形成存储服务器;
步骤50、主控服务器分别连接工作服务器与存储服务器;
步骤60、客户端连通工作服务器,发送查询请求并生成对应的请求信息流,传输至工作服务器;
步骤70、工作服务器接收请求信息流,处理后转化为控制信息流;
步骤80、工作服务器识别控制信息流,将该控制信息流与数据对象进行匹配,将完成匹配的控制信息流输出至与之关联的主控服务器;
步骤90、主控服务器接收并处理该控制信息流,获取该控制信息流对应的存储于主控服务器中的元数据,生成处理后的控制信息流并将其输出至存储服务器;
步骤100、存储服务器接收处理后的控制信息流,调取与元数据对应的数据并转化为数据信息流,输出至工作服务器;
步骤110、工作服务器获取数据信息流,处理后生成处理结果集,输出至客户端。
其中一个实施例中,步骤10中,每个所述的主控服务器均包括一个主控节点和至少一个备用节点,依次连接主控节点和每个备用节点,构成主控服务器。
其中一个实施例中,所述的主控节点死亡后,依次启动备用节点。
其中一个实施例中,步骤20中,数据对象的标识与主控服务器通过HASH关联。
其中一个实施例中,步骤20中,需控制每个数据对象的标识在合理的范围内,具体如下:
每个主控服务器分配其管理的每个数据对象的标识且通过该主控服务器自身的唯一性算法为每个数据对象设置唯一的标识,并按每个数据对象的分配顺序由小到大分配标识。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都虚谷伟业科技有限公司,未经成都虚谷伟业科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110254934.8/2.html,转载请声明来源钻瓜专利网。