[发明专利]数据存储系统、元数据库同步及数据跨域计算方法有效
申请号: | 201811614654.8 | 申请日: | 2018-12-27 |
公开(公告)号: | CN109726250B | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 李光跃;边雨;刘汪根 | 申请(专利权)人: | 星环信息科技(上海)有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/25 |
代理公司: | 11332 北京品源专利代理有限公司 | 代理人: | 孟金喆 |
地址: | 200233 上海市*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据中心 数据存储系统 计算节点 元数据库 跨域 底层容器 数据节点 访问层 云平台 数据访问接口 数据合规性 存储数据 获取数据 计算服务 任务分配 编译层 存储层 计算层 编译 匹配 发送 查询 节约 统一 服务 管理 | ||
1.一种数据存储系统,其特征在于,包括至少两个数据中心,不同数据中心之间建立有通信连接,每个数据中心包括:访问层、编译层、计算层、存储层以及底层容器云平台;
所述编译层包括元数据库以及至少一个编译节点,所述计算层包括至少三个计算节点,所述存储层包括至少三个数据节点;
所述访问层,用于向用户提供统一数据访问接口,通过统一数据访问接口接收SQL语句,并将所述SQL语句发送至所在数据中心的编译层;
所述元数据库,用于存储所述数据存储系统中全部数据节点所存储数据的元数据;
所述编译节点,用于根据接收的SQL语句,查询所在编译层中的元数据库,生成匹配的执行计划,并根据执行计划将作业任务分配给至少一个计算节点执行;其中,接收到所述作业任务的计算节点属于所述数据存储系统中相同或者不同的数据中心;
所述计算节点,用于根据接收的作业任务,从所在数据中心的数据节点中获取数据进行计算,并将计算结果直接或者间接发送至作为汇总节点的计算节点中,以使所述汇总节点生成与接收的计算结果匹配的数据计算汇总结果反馈至对应的统一数据访问接口;
所述数据节点,用于存储数据;所述底层容器云平台,用于对同一数据中心的所有服务进行容器化管理;
其中,所述编译层还包括:编译控制接口;
所述编译控制接口,用于接收所在访问层发送的SQL语句,并根据所在编译层中每个编译节点的负载情况,在所在编译层中确定目标编译节点,并将所述SQL语句发送至所述目标编译节点。
2.根据权利要求1所述的数据存储系统,其特征在于,所述数据存储系统中的元数据库中包括:一个主数据库,以及至少一个从数据库;所述数据存储系统中的各元数据库之间按照设定拓扑关系相连;
所述主数据库为可写的元数据库,所述从数据库通过主从复制的方式,对所述主数据库中存储的信息进行同步。
3.根据权利要求2所述的数据存储系统,其特征在于,所述主数据库所在数据中心的编译层还包括:与所述主数据库相连的第一从数据库;其余数据中心中存储的从数据库作为第二从数据库与所述第一从数据库相连;
所述第一从数据库,用于以主从复制的方式,对所述主数据库中存储的信息进行同步;
所述第二从数据库,用于以主从复制的方式,对所述第一从数据库中存储的信息进行同步。
4.根据权利要求1-3任一项所述的数据存储系统,其特征在于:
在每个数据中心中,所述编译节点与所述数据节点一一对应,且编译节点,以及与编译节点对应的数据节点配置于同一服务器中;和/或,
在所述数据存储系统中,数据以多副本的方式存储于各数据中心的各数据节点中。
5.一种元数据库同步方法,应用于如权利要求1-4任一项所述的数据存储系统中,其特征在于,包括:
在数据存储系统的全部元数据库中,确定主数据库以及从数据库,并建立各元数据库间的级联拓扑图,其中,所述数据存储系统中的各元数据库之间按照设定拓扑关系相连;
在检测到所述主数据库中完成数据写入操作后,阻塞所述主数据库的新数据写入,并根据所述级联拓扑图,完成所述从数据库对所述主数据库中的数据的主从复制。
6.根据权利要求5所述的方法,其特征在于,在数据存储系统的全部元数据库中,确定主数据库以及从数据库,包括:
在所述数据存储系统中包括的全部元数据库中,统计两两元数据库之间的通信时延;
以元数据库为顶点,通信时延为边,构建元数据库时延拓扑图;
在所述元数据库时延拓扑图中,获取经过全部顶点且通信总时延最小的一条通路作为目标通路;
在所述目标通路中,获取出度最高的一个顶点作为所述主数据库,并将除去所述主数据库之外的其他元数据库作为所述从数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于星环信息科技(上海)有限公司,未经星环信息科技(上海)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811614654.8/1.html,转载请声明来源钻瓜专利网。