[发明专利]一种智能配置计算机集群的方法及装置

说明书

本发明公开了一种智能配置计算机集群的方法及装置。所述智能配置计算机集群的方法，包括：解析出计算机集群中的各个任务所需的性能数据；构建所述计算机集群中的各个任务的性能数据模型库；使用所述性能数据库中的各种任务组合，模拟出相应的计算机集群的较优的调参数据；分析待运行的任务组合，实时设置计算机集群的调参数据。本发明可依据计算机集群的历史数据，进行机器学习，实现了无需人为方式的参与，就可自动的实时的针对待运行的任务组合设置出高效率的调参数据。

技术领域

本发明涉及集群运算技术领域，特别涉及一种智能配置计算机集群的方法及装置。

背景技术

使用计算机集群来解决各种需要海量计算量的项目，成为了各行各业在发展中必须要面对的内容。可是，不同类型的任务组合，对计算机集群的性能数据的需求是不一样。而设置计算机集群的性能数据，需要调整的调参数据的选项可能会上千个。传统方式中，通过人为的方式对调参数据进行调整，但是人为的方式主要以经验为主，面对经验所不能涵盖的情况时，难以给出准确的调整方案。还有，面对调参数据的上千个的可选项时，人为的方式就算找到较优的调整方案，也需要花费很多时间来完成。如何妥善的解决上述问题，就成为了业界亟待解决的课题。

发明内容

本发明提供一种智能配置计算机集群的方法及装置，用以可依据计算机集群的历史数据，进行机器学习，实现了无需人为方式的参与，就可自动的实时的针对待运行的任务组合设置出高效率的调参数据。

根据本发明实施例的第一方面，提供一种智能配置计算机集群的方法，包括：

解析出计算机集群中的各个任务所需的性能数据；

构建所述计算机集群中的各个任务的性能数据模型库；

使用所述性能数据库中的各种任务组合，模拟出相应的计算机集群的较优的调参数据；

分析待运行的任务组合，实时设置计算机集群的调参数据。

在一个实施例中，所述分析出计算机集群中的各个任务所需的性能数据，包括：

获取计算机集群的历史运行日志；

根据计算机集群的历史运行日志，解析出各个任务所需的性能数据，所述性能数据包括I/O处理性能数据和运算力性能数据；

根据计算机集群的历史运行日志，解析计算机集群在各个历史调参数据下的性能数据。

在一个实施例中，所述构建所述计算机集群中的各个任务的性能数据模型库，包括：

对所述计算机集群中的各个任务进行聚类分析；

使用机器学习对所述聚类分析的结果进行学习；

构建所述计算机集群中的各个任务的性能数据模型库。

在一个实施例中，所述使用所述性能数据库中的各种任务组合，模拟出相应的计算机集群的较优的调参数据，包括：

使用不同的调参数据对所述性能数据库中的各种任务组合进行测试；

分析所述测试结果，所述测试结果包括计算机集群的平均性能数据、排名前n个调参数据和不同调参数据下的性能数据对比。

在一个实施例中，所述分析待运行的任务组合，实时设置计算机集群的调参数据，包括：

分析待运行的任务组合，得到所述待运行的任务组合所需的性能数据；

根据历史模拟的结果，实时设置计算机集群的调参数据。

根据本发明实施例的第二方面，提供一种智能配置计算机集群的装置，包括：

解析模块，用于解析出计算机集群中的各个任务所需的性能数据；