[发明专利]一种Spark任务分配方法和系统

说明书

本发明属于计算机技术领域，尤其涉及一种Spark任务分配方法和系统。首先基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果；利用已生成的节点标识与存储设备特征标识的对应关系，将配对结果中所包含的节点分组为固态硬盘节点组和机械硬盘节点组；若当前任务的操作数据同时存在于固态硬盘节点组的节点和机械硬盘节点组的节点中，优先将任务分配到固态硬盘节点组的节点中执行，即最大限度地将任务分配到配置有SSD的计算节点上，从而充分利用SSD高速读、写以及高吞吐率的特性，加快任务的执行速度，提升集群的服务质量。

技术领域

本发明属于计算机技术领域，尤其涉及一种Spark任务分配方法和系统。

背景技术

Spark是目前产业界广泛使用的高效的大数据计算框架，将Spark部署到高性能计算集群中可有效地提升Spark的大数据处理效率。高性能计算集群(High PerformanceComputing Cluster，HPC Cluster)是通过对不同的计算节点配置不同的存储设备，搭建了基于固态硬盘(Solid State Drives，SSD)和机械硬盘(Hard Disk Drive，HDD)混合的分布式文件系统和计算集群。高性能计算集群综合利用SSD的高速读、写和高吞吐率的特性以及HDD的大容量、廉价的特性，在保证存储和计算成本的前提下，实现了集群存储和计算能力的有效提升。

为了实现系统的容错功能，集群通常采用一块数据存储多个副本的策略，即集群的管理系统通常会合理地搭配SSD和HDD的使用，其中典型的使用策略是将数据的一个副本存储在SSD节点，其它副本存储在HDD节点。如图4所示，其展示了现有的基于SSD和HDD混合存储的高性能计算集群的拓扑结构。

当前Spark的任务分配策略是基于操作数据的位置，将任务分配到存储有该任务操作数据的计算节点，将任务和数据部署到同一计算节点，从而避免了数据的远程读取，实现了数据的本地处理。但是，目前基于数据位置的分配策略忽略了SSD和HDD的不同存储特性，未针对SSD和HDD不同的存储特性做出有针对性的利用，例如，如果任务操作的数据同时存储在SSD节点和HDD节点时，当前Spark在进行任务分配时会随机地选择SSD节点或HDD节点中的任一节点作为计算节点。因此，现有的Spark由于没有考虑上述集群所具备的SSD和HDD的异构特性，随机对任务进行分配，无形中降低了Spark的执行效率。

发明内容

本发明所要解决的技术问题为提供一种Spark任务分配方法和系统，旨在解决优化现有的Spark应用程序的执行效率的问题。

为解决上述技术问题，本发明提供了一种Spark任务分配方法，所述方法包括：

基于数据位置的选择方法对当前提交的任务和已配置的资源中所包含的节点进行配对，生成配对结果；

利用所述配对结果中所包含节点的节点标识，查找已生成的节点标识与存储设备特征标识的对应关系，获取相应的存储设备特征标识；

按照所述存储设备特征标识将所述配对结果中所包含节点分组为固态硬盘节点组和机械硬盘节点组；

若所述任务的操作数据同时存在于所述固态硬盘节点组的节点和所述机械硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行。

进一步地，所述方法还包括：

若所述任务的操作数据只存在于所述固态硬盘节点组的节点中，则将所述任务分配至所述固态硬盘节点组的任意一个节点上执行；

若所述任务的操作数据只存在于所述机械硬盘节点组的节点中，则将所述任务分配至所述机械硬盘节点组的任意一个节点上执行。