[发明专利]面向大数据平台基于内存数据局部性的调度方法及系统

摘要

本发明提出面向大数据平台基于内存数据局部性的调度方法及系统，涉及大数据处理分布式计算任务调度领域，该方法包括周期性获取数据节点内存中缓存的数据块，并周期性向存储管理节点汇报所述数据节点的内存数据块信息；获取用户提交的作业，计算节点对所述作业进行分片，当所述计算节点填写作业分片信息时，将所述内存数据块信息写入所述作业分片信息中；所述计算节点根据所述作业分片信息创建待执行任务，为所述待执行任务进行资源申请请求，所述计算节点根据所述资源申请请求，将资源节点分配给所述待执行任务。本发明能够加快整体作业执行速度，对于降低作业执行时间具有重要的实际意义，具有良好的市场前景和应用价值。

主权项

一种面向大数据平台基于内存数据局部性的调度方法，其特征在于，包括：步骤1，周期性获取数据节点内存中缓存的数据块，并周期性向存储管理节点汇报所述数据节点的内存数据块信息；步骤2，获取用户提交的作业，计算节点对所述作业进行分片，当所述计算节点填写作业分片信息时，将所述内存数据块信息写入所述作业分片信息中；步骤3，所述计算节点根据所述作业分片信息创建待执行任务，为所述待执行任务进行资源申请请求，所述计算节点根据所述资源申请请求，将资源节点分配给所述待执行任务。