[发明专利]一种基于作业类型识别的自适应混合云计算框架生成方法

说明书

本发明公开了一种基于作业类型识别的自适应混合云计算框架生成方法，在底层大数据集群的基础上，通过集群资源的统一调度实现对计算框架的资源支撑，接收用户提交根据统一编程模型的编写的作业，识别作业类型并自动判断适用的计算框架，实现不同应用场景下批量数据、流数据等的统一处理，有效实现更好的通用性并更好的提升性能。

技术领域

本公开属于分布式计算的技术领域，涉及一种混合计算框架生成、数据处理方法、装置及混合计算框架，尤其涉及一种基于作业类型识别的自适应混合计算框架生成方法及装置、一种数据处理方法及装置以及一种基于作业类型识别的自适应混合计算框架。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着信息技术的不断发展，数据处理面对的数据量快速增长，需挖掘数据种类越来越多，包括结构化数据、文本数据、图形数据、数据流等，离线处理、在线计算、图算法、迭代式算法。目前大数据处理基本可分为两个类型：

(1)复杂的批量数据计算处理，通常时间跨度在数十分钟到数小时之间；

(2)基于实时数据流的数据处理，通常的时间跨度在数百毫秒到数秒之间。

两种处理类型目前都已有相对成熟的架构来处理，如利用MapReduce来进行批量数据处理，利用Storm来进行实时数据流的处理。

根据处理类型，当前大数据处理框架一般分为批处理计算框架、流处理计算框架和混合处理计算框架三类，批处理计算框架以Hadoop等为代表，特点是时间和资源要求低；流处理计算框架以Storm、Samza等为代表，特点是实时性高但吞吐量低；混合处理计算框架包括Spark、Flink，能同时处理批处理和流处理工作负载，但各有侧重，Spark运行原理建立在内存批处理之上，本质上属于批处理计算框架，其流处理SparkStreaming属于微批处理，而Flink是可处理批处理任务的流处理框架，本质上属于流处理计算框架，将批处理当做具备有限边界的数据流处理。

设计理念的不同使得每种计算框架都有其适用的最佳应用场景，如Hadoop适用于进行大规模静态数据的批量计算处理场景，但在面向低延迟和具有复杂数据关系(如多表关联查询)等问题时有很大的不适应性；Spark适用于迭代应用及交互式应用，在机器学习、交互式查询等应用场景具有优势；Storm适用于动态处理不断流入的小数据块，如实时日志处理、实时统计等场景，不同计算框架之间难以相互取代。大数据应用复杂多样，可能会同时包含不同特征的数据和计算，在这种情况下单一的计算框架多半难以满足整个应用的需求，往往需要多种计算框架处理不同的场景。考虑到资源维护成本等一系列问题，为不同的计算框架搭建不同的集群显然是不现实的，因此需要考虑集群中不同计算框架的混合使用。

当前已在混合计算框架方面进行了一定的研究，如研究集群资源的统一调度机制等，提升集群资源利用率。但对于作业层面的统一调度的研究较少，用户需要根据经验判断应用场景适用的计算框架并提交相应的应用程序，由于不同计算架构的编程模型、业务逻辑等均有很大差异，用户切换不同的分布式处理框架的成本很高，无法实现根据作业的混合计算架构的自适应匹配及运行。

发明内容

针对现有技术中存在的不足，本公开的一个或多个实施例提供了一种混合计算框架生成、数据处理方法、装置及混合计算框架，在底层大数据集群的基础上，通过集群资源的统一调度实现对计算框架的资源支撑，在此基础上，根据用户提交的根据统一编程模型的编写的作业，识别作业类型并自动判断适用的计算框架，实现不同应用场景下批量数据、流数据等的统一处理，以实现更好的通用性并更好的提升性能。

根据本公开的一个或多个实施例的一个方面，提供一种基于作业类型识别的自适应混合计算框架生成方法。

一种基于作业类型识别的自适应混合计算框架生成方法，该方法包括：