[发明专利]基于Hadoop平台的资源分配参数设置方法、设备及存储介质

说明书

本发明公开了一种基于Hadoop平台的资源分配参数设置方法、设备及存储介质，该方法包括步骤：获取预设任务的任务信息；获取所述任务信息对应的任务数据大小信息；基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数。本发明实现了通过预设参数计算模型和预设任务对应的任务数据大小信息来设置目标资源分配参数，避免了通过提交该预设任务的用户来设置目标资源分配参数，从而避免了由于该用户设置目标资源分配参数导致的预设任务执行异常、Hadoop集群资源浪费或分析计算任务无法正常提交的问题，使得Hadoop集群的资源分配更加合理。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于Hadoop平台的资源分配参数设置方法、设备及存储介质。

背景技术

随着互联网技术的发展，海量数据通过Hadoop集群进行存储和计算，其中，大量分析计算任务广泛使用Spark计算引擎，相应地，该分析计算任务为Spark计算任务。Spark计算引擎是大数据领域最为通用的数据分析计算引擎，通常数据分析用户在向Hadoop集群提交Spark计算任务时，需要指定该Spark计算任务所需要的计算资源，指定计算资源包括设置driver-memory(分配给Driver的内存)、driver-cores(分配给Driver的Vcore)、executor-cores(分配给Executor的Vcore)、executor-memory(分配给Executor的内存)、num-executors(分配的Executor的数量)等参数，其中，executor-cores和num-executors的乘积为Spark计算任务的运行并行度、executor-memory与executor-cores存在一定的比例关系(例如1：4)、driver-memory和driver-cores一般很少人为设置而是使用默认配置(在需要Driver参与数据处理时才会人为设置)。

由于上述参数的设置需要数据分析用户对Hadoop集群规模、Spark计算引擎运行原理、任务复杂度及任务涉及数据规模有较全面的理解。若数据分析用户设置参数不当，例如上述参数设置过小，将导致Spark计算任务执行异常，又如数据分析用户为避免Spark计算任务执行异常，会设置超出该Spark计算任务需要的计算资源的参数，导致Hadoop集群计算资源的浪费，甚至在Hadoop集群资源严重不足时，大量的Spark计算任务会无法正常提交等各种问题。

由此可知，目前由于参数由数据分析用户设置，存在Hadoop集群的资源分配不合理的问题。

发明内容

本发明的主要目的在于提供一种基于Hadoop平台的资源分配参数设置方法、设备及存储介质，旨在解决现有的由于参数由数据分析用户设置，存在Hadoop集群的资源分配不合理的技术问题。

为实现上述目的，本发明提供一种基于Hadoop平台的资源分配参数设置方法，所述基于Hadoop平台的资源分配参数设置方法包括步骤：

获取预设任务的任务信息；

获取所述任务信息对应的任务数据大小信息；

基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数。

可选地，所述基于所述任务数据大小信息和预设参数计算模型设置目标资源分配参数，包括：

基于所述任务数据大小信息计算资源分配参数相关信息；

基于预设参数计算模型和所述资源分配参数相关信息设置所述目标资源分配参数。

可选地，所述基于所述任务数据大小信息计算资源分配参数相关信息之前，包括：

基于所述任务信息获取判断相关信息；

基于所述判断相关信息判断所述预设任务是否需要预设客户端协助处理；

若是，则获取所述协助处理对应的协助处理数据大小信息；