[发明专利]面向大数据分析的混合计算系统

摘要

本发明涉及一种面向大数据分析的混合计算系统，其包括：运行在一个Hadoop集群上的集群资源管理系统，统一管理调度Hadoop集群资源，以实现MapReduce和Spark两种计算框架对集群资源的共享；所述集群资源管理系统包括：一个全局的资源管理器、针对每个计算框架特有的应用管理器（即MapReduce应用管理器和Spark应用管理器）以及每个节点上的节点管理器。本发明采用基于混合计算框架的方式来进行大数据分析，一方面将MapReduce计算框架和Spark计算框架整合，搭建到同一Hadoop集群中，并实现数据共享，另一方面混合计算框架的方式可以利用MapReduce计算框架和Spark计算框架不同的特点，总体来说，提高了集群利用率，降低能耗，而且可以高效快速的进行数据相关处理。

主权项

面向大数据分析的混合计算系统，其特征是，包括：运行在一个Hadoop集群上的集群资源管理系统，统一管理调度Hadoop集群资源，以实现MapReduce和Spark两种计算框架对集群资源的共享；所述集群资源管理系统包括：资源管理器、应用管理器和节点管理器；所述资源管理器负责整个系统的资源管理和分配，资源管理器接收来自各个节点上节点管理器的资源汇报信息，并把这些信息分配给各个应用管理器；用户提交的每个应用程序均包含一个应用管理器，所述应用管理器功能包括：与资源管理器协商以获取资源；将得到的任务进一步分配给内部的任务；与节点管理器通信以启动或停止任务；监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务；所述节点管理器是每个节点上的资源和任务管理器，一方面，它会定时地向资源管理器汇报本节点上的资源使用情况和各个容器的运行状态；另一方面，它接收并处理来自应用管理器的容器包括启动、停止在内的各种请求；当应用管理器向资源管理器申请资源时，资源管理器为应用管理器返回的资源用容器表示，资源管理器会为每个任务分配一个容器，且该任务只能使用该容器中描述的资源；所述容器是集群资源管理系统中的资源抽象，它封装了节点上的多维度资源，包括内存、CPU、磁盘、网络。