[发明专利]面向大数据平台基于内存数据局部性的调度方法及系统

权利要求书

1.一种面向大数据平台基于内存数据局部性的调度方法，其特征在于，包括：

步骤1，周期性获取数据节点内存中缓存的数据块，并周期性向存储管理节点汇报所述数据节点的内存数据块信息；

步骤2，获取用户提交的作业，计算节点对所述作业进行分片，当所述计算节点填写作业分片信息时，将所述内存数据块信息写入所述作业分片信息中；

步骤3，所述计算节点根据所述作业分片信息创建待执行任务，为所述待执行任务进行资源申请请求，所述计算节点根据所述资源申请请求，将资源节点分配给所述待执行任务。

2.如权利要求1所述的面向大数据平台基于内存数据局部性的调度方法，其特征在于，所述步骤1包括所述存储管理节点收到各所述数据节点发送的所述内存数据块信息，将各所述数据节点的所述内存数据块信息进行汇总，保存在所述存储管理节点的内存中。

3.如权利要求1所述的面向大数据平台基于内存数据局部性的调度方法，其特征在于，所述步骤2包括用户提交作业，计算节点根据用户输入的文件路径，向所述存储管理节点请求文件所包括数据块的位置；

所述存储管理节点根据所述文件路径，查找与所述文件路径相对应的文件，并查看所述文件与数据块的对应关系，并根据数据块的内存数据块信息查询数据块在内存中缓存节点位置，将包括起始位置、长度、磁盘节点位置、缓存节点位置的内存数据块信息返回给所述计算节点；

所述计算节点根据所述缓存节点位置，以及大数据计算平台配置文件，创建作业分片信息，将所述缓存节点位置写入作业分片信息。

4.如权利要求1所述的面向大数据平台基于内存数据局部性的调度方法，其特征在于，所述步骤3包括所述计算节点读取作业分片信息，根据作业分片数量创建对应数量的所述待执行任务；

根据所述待执行任务所需的内存中缓存节点位置，创建对应的资源申请请求，并发送给所述存储管理节点请求资源。

5.如权利要求1所述的面向大数据平台基于内存数据局部性的调度方法，其特征在于，所述步骤3还包括所述计算节点收到分配的资源节点，检查资源所在节点；

根据所述待执行任务的优先级与资源类型获取对应的任务队列；

依次查询所述待执行任务的所需数据所在的节点与分配的资源节点是否一致，若一致，则检查所需数据是否存放在所在节点的内存中，若是，则将资源节点分配给所述待执行任务，否则检查下一个所述待执行任务；

若未发现任务所需数据存放在所在的节点的内存中，则从头开始检查所述待执行任务所需数据是否存放在所在的节点的磁盘中，将所述资源节点分配给匹配的第一个所述待执行任务；

若未发现所述待执行任务满足节点匹配，则检查所有所述待执行任务所需资源节点是否与资源节点处于同一机架上，若是，分配资源节点给匹配的第一个所述待执行任务；

若未发现所述待执行任务满足机架匹配，则检查所有所述待执行任务所需资源节点是否与资源节点处于同一数据中心，若是，则分配资源给匹配的第一个所述待执行任务，否则，资源节点分配给所述任务队列中的第一个所述待执行任务。

6.一种面向大数据平台基于内存数据局部性的调度系统，其特征在于，包括：

汇报内存数据块信息模块，用于周期性获取数据节点内存中缓存的数据块，并周期性向存储管理节点汇报所述数据节点的内存数据块信息；

写入所述作业分片信息模块，用于获取用户提交的作业，计算节点对所述作业进行分片，当所述计算节点填写作业分片信息时，将所述内存数据块信息写入所述作业分片信息中；

资源节点分配模块，用于所述计算节点根据所述作业分片信息创建待执行任务，为所述待执行任务进行资源申请请求，所述计算节点根据所述资源申请请求，将资源节点分配给所述待执行任务。

7.如权利要求6所述的面向大数据平台基于内存数据局部性的调度系统，其特征在于，所述汇报内存数据块信息模块包括所述存储管理节点收到各所述数据节点发送的所述内存数据块信息，将各所述数据节点的所述内存数据块信息进行汇总，保存在所述存储管理节点的内存中。