[发明专利]一种Spark任务分配方法和系统

权利要求书

1.一种Spark任务分配方法，其特征在于，所述方法包括：

基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果；其中，所述资源中包含节点为存储有任务操作数据的节点；其中，所述基于数据位置的选择方法是指将任务分配到存储有该任务操作数据的节点；

利用所述配对结果中所包含节点的节点标识，查找已生成的节点标识与存储设备特征标识的对应关系，获取相应的存储设备特征标识；

按照所述存储设备特征标识将所述配对结果中所包含节点分组为固态硬盘节点组和机械硬盘节点组；

若所述任务的操作数据同时分别存在于所述固态硬盘节点组的节点和所述机械硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

若所述任务的操作数据只存在于所述固态硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行；

若所述任务的操作数据只存在于所述机械硬盘节点组的节点中，则将所述任务分配至所述机械硬盘节点组的任意一个节点上执行。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

获取集群中所有节点的节点标识、以及各所述节点配置的存储设备特征标识，生成所述节点标识与存储设备特征标识的对应关系；其中，所述存储设备特征标识包括固态硬盘标识和机械硬盘标识。

4.如权利要求1所述的方法，其特征在于，所述基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果之前，所述方法还包括：

响应于所述当前提交的任务的资源请求，将满足资源请求条件的节点配置给所述当前提交的任务，以完成资源的配置。

5.如权利要求1所述的方法，其特征在于，所述基于数据位置的选择方法对任务和已配置的资源中所包含的节点进行配对，生成初始配对结果包括：

基于数据位置的选择方法，将所述任务和所述已配置的资源中存储有所述任务的操作数据的节点进行配对；

若配对成功，则生成相应的所述配对结果；

若配对不成功，则将所述任务随机分配给所述已配置的资源中的任意节点，并生成相应的所述配对结果。

6.一种Spark任务分配系统，其特征在于，所述系统包括：

资源调度模块，用于基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果；其中，所述资源中包含节点为存储有任务操作数据的节点；其中，所述基于数据位置的选择方法是指将任务分配到存储有该任务操作数据的节点；

资源过滤模块，用于利用所述配对结果中所包含节点的节点标识，查找已生成的节点标识与存储设备特征标识的对应关系，获取相应的存储设备特征标识；

所述资源过滤模块，还用于按照所述存储设备特征标识将所述配对结果中所包含节点分组为固态硬盘节点组和机械硬盘节点组；

所述资源过滤模块，还用于若所述任务的操作数据同时存在于所述固态硬盘节点组的节点和所述机械硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行。

7.如权利要求6所述的系统，其特征在于，所述资源过滤模块还用于：

若所述任务的操作数据只存在于所述固态硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行；

若所述任务的操作数据只存在于所述机械硬盘节点组的节点中，则将所述任务分配至所述机械硬盘节点组的任意一个节点上执行。

8.如权利要求6所述的系统，其特征在于，所述系统还包括存储特性统计模块：

用于获取集群中所有节点的节点标识、以及各所述节点配置的存储设备特征标识，生成所述节点标识与存储设备特征标识的对应关系；其中，所述存储设备特征标识包括固态硬盘标识和机械硬盘标识。