[发明专利]一种用于处理地理分布式数据的跨集群计算系统

说明书

一种用于处理地理分布式数据的跨集群计算的系统，包括有三层的集群管理框架，包括全局主节点‑‑集群主节点‑‑从节点，全局主节点负责管理所有的集群主节点，每个集群主节点则负责管理集群内部的从节点，使用应用提交客户端向全局主节点提交应用程序时，全局主节点会选择一个其管理的集群主节启动全局驱动器，所述全局驱动器启动成功后向全局主节点注册全局应用描述，全局主节点根据描述在各个集群主节点启动集群驱动器，集群驱动器启动成功后，向集群主节点注册集群应用描述，集群主节点再根据描述在各个内部从节点启动执行器，全部启动成功后，由全局驱动器开始任务分发和数据交换等来完成一个应用的执行。

技术领域

本发明涉及一种跨集群计算方系统，尤其涉及用于处理地理分布式数据的跨集群计算系统。

背景技术

地理分布式数据是指那些由不同地理位置的集群所生成的数据，这一类型数据往往具有类似的格式，可以统一处理。地理分布式数据随集群提供的服务持续生成，无论是累积的历史数据量，还是新数据的生成速度都非常大。

地理分布式数据的产生通常有两个原因：1，许多组织在多个国家有业务，并在全球运营多个数据中心，如大型跨国公司为提供最佳的服务体验，往往在多个国家和区域就近部署服务集群。即使在一个国家，数据也可能分布在不同的系统和地点，如同一个国家的某个银行的多个支行；2，一个组织可能倾向于使用多个公有或私有云来增加可靠性，安全性和处理能力。

地理分布式数据的处理有多个场景。例如，一个生物信息学应用需要分析存储在不同实验室和国家的基因组数据来追踪流行疾病的源头，一个气候科学应用需要分析全球各个国家气象站存储的气象数据来模拟地理气候演变，一个服务器监视应用需要分析全球各个区域服务器的日志数据来提供运行状态报告。还有更多类似的应用案例，像传感器网络，股票交易，社交网络应用，分布式摄像机的视频流等。这一类处理应用有相同的特点：1，数据是地理分布的，且数据量巨大，移动会产生大量的广域网带宽成本；2，因为安全、隐私、区域政策、数据敏感等因素，限制原始数据跨国或跨区域的移动；3，大多数的分析任务(Task)都只需要很小的一部分原始数据来生成最后的输出。

现有技术对地理分布式数据的处理有三种方法：方法1，把分布在各个集群上的数据全部拉取到一个集群上，再使用成熟的大数据处理框架，如开源的大数据项目Hadoop、Spark来对所有的数据进行处理，然而在跨国家或跨区域移动原始数据往往是法律禁止的，即使这些数据允许移动，通过广域网汇总所有集群的数据会带来巨大的带宽成本，即使带宽成本在能承受的范围内，这些数据本身可能是动态持续快速产生的，则可能需要多次移动数据，用此种方法只适用于数据大小固定、数据量不大也不敏感的数据处理。

方法2，在每个集群上搭建大数据处理框架，针对具体的业务逻辑写一个应用，将这个应用发送到各个集群上去运行，再将数据处理的结果拉取到一个集群，再写另一个应用处理这些汇总的结果数据来得到最后的输出。此种方法的问题在于，当业务逻辑复杂时，可能需要编写多个应用，并配合额外的调度系统来调度执行这些应用。例如，要获取一个服务的用户总数，需要先在各个集群上统计此地区的用户数，再把这些数据汇总到一个集群再计算总和。用户总数就是一个全局量，每个全局量的获取都需要2个应用的执行。这个方案只适用于简单的业务逻辑编写。

方法3，通过把多个集群的计算节点在网络层通过隧道协议连通，将所有集群的所有计算节点连成一个整体，在这个整体上部署成熟的大数据框架，如分布式文件系统(HDFS)，分布式计算框架(MapReduce、Spark)，分布式资源调度系统(Yarn)等。然而多个集群并不能完全视为一个巨大的集群，集群内的网络为局域网，高速低延迟且各向同性，集群间的网络为广域网，低速高延迟且各向异性。当前成熟的大数据框架本身是为单集群设计的，并没有为这种特殊的网络性质做优化，在具体的数据处理中也不够高效。

发明内容