[发明专利]一种用于数据流驱动计算的存储方法和存储系统

权利要求书

1.一种用于数据流驱动计算的存储方法，包括以下步骤：

步骤S1：根据数据流驱动计算的执行顺序的关联关系构建任务路径图，其中，每条任务路径包含涉及输入/输出操作的多个任务节点；

步骤S2：基于所述任务路径图，根据任务执行时长选择任务路径作为第一关键路径；

步骤S3：对于所述第一关键路径上的任务节点标记优先级标签并调度分配给相应的计算节点；

步骤S4：所述计算节点基于所述优先级标签控制执行接收的任务，以实现数据读取；

其中，步骤S3包括：

基于任务节点对执行性能的影响力标记优先级标签，该优先级标签用于对任务相关联的文件读写加速提供识别机制；

设置控制任务节点执行的规则；

基于存储资源的使用情况将所述第一关键路径的任务节点分配给相应计算节点。

2.根据权利要求1所述的方法，其特征在于，步骤S2包括：

基于任务执行时长和存储资源的使用情况从所述任务路径图中选择一条或多条任务路径构建为关键路径结构树，其中，结构树中每一层的节点保存从任务开始到当前任务节点的任务执行时长，并且每一层的节点都由一个链表串接；

遍历所述关键路径结构树的最底层节点，选择总的任务执行时长最高的任务路径作为所述第一关键路径。

3.根据权利要求2所述的方法，其特征在于，在步骤S2中，还包括以下步骤来执行所述关键路径结构树的迭代更新：

将已经执行的所述第一关键路径从所述关键路径结构树中删除，并将所述第一关键路径中的每一个节点从每一层的链表中删除；

从所述关键路径结构树对应的第二层链表开始，在每一层的链表中，寻找包含在所述第一关键路径中的相邻任务节点；

在执行删除操作之后的关键路径结构树中，将所找到的相邻任务节点之间的任务执行时长减掉，获得迭代更新后的关键路径结构树。

4.根据权利要求2所述的方法，其中，所述关键路径结构树中包含的任务路径数目根据实时监测的存储资源使用情况确定。

5.一种用于数据流驱动计算的存储系统，包括中心存储控制器、数据流调度器，节点级控制面和异构存储模块，其中：

所述中心存储控制器用于根据数据流驱动计算的执行顺序的关联关系构建任务路径图，每条任务路径包含涉及输入/输出操作的多个任务节点；

所述数据流调度器用于从所述任务路径图中根据任务执行时长选择任务路径作为第一关键路径；

所述中心存储控制器还用于对于所述第一关键路径上的任务节点标记优先级标签并调度分配给相应的计算节点的节点级控制面，包括基于任务节点对执行性能的影响力标记优先级标签，该优先级标签用于对任务相关联的文件读写加速提供识别机制；设置控制任务节点执行的规则；基于存储资源的使用情况将所述第一关键路径的任务节点分配给相应计算节点；

所述节点级控制面用于基于所述优先级标签控制执行接收到任务，以实现针对所述异构存储模块的数据读取。

6.根据权利要求 5所述的系统，其特征在于，所述数据流调度器用于执行以下步骤：

基于任务执行时长和存储资源的使用情况从所述任务路径图中选择一条或多条任务路径构建为关键路径结构树，其中，结构树中每一层的节点保存从任务开始到当前任务节点的任务执行时长，并且每一层的节点都由一个链表串接；

遍历所述关键路径结构树的最底层节点，选择总的任务执行时长最高的任务路径作为所述第一关键路径。

7.根据权利要求6所述的系统，其特征在于，所述异构存储模块包括SSD和HDD，所述关键路径结构树包含的任务路径数目由SSD的资源使用情况确定。

8.根据权利要求5所述的系统，其特征在于，所述节点级控制面存储以下信息中的至少一项：异构存储模块的分配规则和策略、存储资源的使用信息、存储资源的触发事件；所述中心存储控制器存储以下信息中的至少一项：从所述数据流调度器获得的数据流任务及其关联的读写文件信息；数据流任务使用资源的规则；对性能和资源利用率的要求；计算节点的资源使用情况。

9.一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现根据权利要求1至4中任一项所述方法的步骤。