[发明专利]数据存储系统、元数据库同步及数据跨域计算方法

说明书

本发明公开了数据存储系统、元数据库同步及数据跨域计算方法。数据存储系统包括：至少两个数据中心，数据中心包括：访问层、编译层、计算层、存储层以及底层容器云平台；访问层，用于提供统一数据访问接口；编译节点，用于根据接收的SQL语句，查询元数据库，生成匹配的执行计划，根据执行计划将作业任务分配给计算节点执行；计算节点，用于根据作业任务，从所在数据中心的数据节点中获取数据进行计算，将计算结果发送至作为汇总节点的计算节点中；数据节点，用于存储数据；底层容器云平台，用于对同一数据中心的所有服务进行容器化管理。本发明实施例的技术方案在高质量提供跨域计算服务的同时，节约投入成本，并满足数据合规性需求。

技术领域

本发明实施例涉及信息处理技术，尤其涉及一种数据存储系统、元数据库同步及数据跨域计算方法。

背景技术

随着数据量的日益增长以及业务的拓展需要，越来越多的企业开始部署自身的数据中心。因为一些特殊行业的需要，有时候需要联合多家企业或者组织的数据进行联合计算的需求，也就是说，需要解决跨数据中心的数据联合计算的问题。每个数据中心相当于是一个域，域内部的网络很快，但是域之间的网络相比于域内部的网络要慢很多且不稳定，所以在进行联合计算时，如果产生大量的网络开销，就会产生比较大的性能问题。

目前，市面上存在有强一致性、可扩展的全球分布式数据库，上述全球分布式数据库主要有两点缺陷，一个是需要高成本的投入，另一个是不满足数据合规性需求，数据合规性需求，也即某一数据中心中的数据不能外流至其他数据中心的要求。

产生第一个缺陷的原因是，为了满足性能可用的场景需求，需要将各个数据中心之间的延时降到非常低的标准，这必然需要对数据中心之间的网络有比较高的投入和优化；产生第二个缺陷的原因是，从业务层面考虑，在进行跨数据中心的计算时使用的可能不是同一家公司的数据中心，因为，所有数据中心同时使用同一个数据库的可能性比较小，而现有的全球分布式数据库都是通过多副本的方式实现就近计算的，也就是数据在写入的时候就会写到其他数据中心，因此这种方式是不满足数据合规性需求的。

发明内容

本发明实施例提供一种数据存储系统、元数据库同步及数据跨域计算方法，以实现在高质量提供跨域计算服务的同时，节约投入成本，并满足数据合规性需求。

第一方面，本发明实施例提供了一种数据存储系统，包括至少两个数据中心，不同数据中心之间建立有通信连接，每个数据中心包括：访问层、编译层、计算层、存储层以及底层容器云平台；

所述编译层包括元数据库以及至少一个编译节点，所述计算层包括至少三个计算节点，所述存储层包括至少三个数据节点；

所述访问层，用于向用户提供统一数据访问接口，通过统一数据访问接口接收SQL语句，并将所述SQL语句发送至所在数据中心的编译层；

所述元数据库，用于存储所述数据存储系统中全部数据节点所存储数据的元数据；

所述编译节点，用于根据接收的SQL语句，查询所在编译层中的元数据库，生成匹配的执行计划，并根据执行计划将作业任务分配给至少一个计算节点执行；其中，接收到所述作业任务的计算节点属于所述数据存储系统中相同或者不同的数据中心；

所述计算节点，用于根据接收的作业任务，从所在数据中心的数据节点中获取数据进行计算，并将计算结果直接或者间接发送至作为汇总节点的计算节点中，以使所述汇总节点生成与接收的计算结果匹配的数据计算汇总结果反馈至对应的统一数据访问接口；

所述数据节点，用于存储数据；所述底层容器云平台，用于对同一数据中心的所有服务进行容器化管理。

第二方面，本发明实施例还提供了一种元数据库同步方法，应用于如本发明任意实施例所述的数据存储系统中，包括：