[发明专利]Hadoop同构集群下的资源参数优化方法

摘要

一种Hadoop同构集群下的资源参数优化方法，包括建立同构集群的作业特征库；在默认配置下，用新作业的部分数据来运行作业，获取新作业的资源占用特征Fs；计算作业特征库中每一个作业的资源占用特征F与Fs的相对距离；取作业特征库中与Fs的相对距离最小的那个作业的参数最优取值，作为新作业s的最优取值；以新作业s的参数最优取值配置集群，完整运行新作业。本发明的有益效果提高作业运行的执行效率；提高集群的资源使用率，避免集群资源浪费或争夺；建立作业特征库，方便后期作业分析和优化。

主权项

一种Hadoop同构集群下的资源参数优化方法，其特征在于，包括步骤一：建立Hadoop同构集群的作业特征库：任选一种以上典型作业，获取典型作业的资源占用特征F、MAX_REDUCERS最优取值和MAX_MAPPERS最优取值，将其加入作业特征库；其中，获取典型作业的资源占用特征F的方法是：在默认配置下，运行该作业；在作业执行过程中，获取任意一个子节点的资源占用特征其中，将作业执行时间划分为相等的m个时间段，为在第j个时间段内第k种资源的平均占用情况，r为资源总数；以该子节点的资源占用特征F0作为该作业的资源占用特征F；获取典型作业的MAX_REDUCERS最优取值和MAX_MAPPERS最优取值的方法是：首先获取MAX_REDUCERS最优取值：在默认配置下，运行该作业，得到作业执行时间T；调整配置，以步长1来增大MAX_REDUCERS的取值后再次运行该作业，获取作业执行时间；当MAX_REDUCERS的值增加到i时，如果Ti＞Ti‑1，则将i‑1作为MAX_REDUCERS的最优取值；然后获取MAX_MAPPERS最优取值：在MAX_REDUCERS最优取值的配置下，运行该作业，得到作业执行时间T′；调整配置，以步长1来增大MAX_MAPPERS的取值后再次运行该作业，得到作业执行时间；当MAX_MAPPERS的值增加到n时，如果T′n＞T′n‑1，则将n‑1作为MAX_MAPPERS的最优取值；步骤二：在默认配置下，用新作业s的部分数据G来运行作业，按照步骤一中获取典型作业的资源占用特征F的方法来获取新作业s的资源占用特征Fs；步骤三：如果新作业s的资源占用特征Fs达到资源占用饱和状态，则以默认配置的MAX_MAPPERS值和MAX_REDUCERS值作为新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值；否则，计算作业特征库中每一个作业的资源占用特征F与新作业s的资源占用特征Fs的相对距离步骤四：如果存在一个以上Distance(F,Fs)＜0.1，则取作业特征库中与Fs的相对距离最小的那个作业的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值，作为新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值；否则，按照步骤一中获取典型作业的MAX_REDUCERS最优取值和MAX_MAPPERS最优取值的方法，来确定新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值；步骤五：以新作业s的MAX_MAPPERS最优取值和MAX_REDUCERS最优取值配置集群后，完整运行新作业。