[发明专利]基于近数据计算原则的多卫星数据中心工作流调度算法有效
申请号: | 201410851865.9 | 申请日: | 2014-12-31 |
公开(公告)号: | CN104484230B | 公开(公告)日: | 2019-03-15 |
发明(设计)人: | 王力哲;张万峰;马艳;张杰 | 申请(专利权)人: | 中国科学院遥感与数字地球研究所 |
主分类号: | G06F9/48 | 分类号: | G06F9/48 |
代理公司: | 北京纽乐康知识产权代理事务所(普通合伙) 11210 | 代理人: | 覃莉 |
地址: | 100094*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据 计算 原则 卫星 数据中心 工作流 调度 算法 | ||
1.一种基于近数据计算原则的多卫星数据中心工作流调度算法,其特征在于,包括以下步骤:
步骤1:将预先配置的工作流执行综合时间简化为工作流所需数据的传输时间和输入数据拷贝到计算资源后的实际处理时间,以时间成本为约束条件,计算所述工作流执行综合时间的最小值;
步骤2:根据得到待调度的数据资源与计算资源信息,在预先配置的既定调度原则的指导下,选择相匹配的资源进行组合,得到虚拟工作流;
步骤3:基于超图理论的按组划分任务方式PGH对步骤2中的虚拟工作流调度进行优化,优化的方法包括将具有相同输入数据的工作流划分为相同的任务组,在同一任务组内重复利用已经拷贝过的输入数据;
步骤4:对预先设置的多卫星数据中心近数据计算模型之间的算法进行自动迁移,包括算法运行环境的解析与封装方法分析以及算法的跨计算模型自动编译,其中近数据计算模型也称为计算平台。
2.根据权利要求1所述的基于近数据计算原则的多卫星数据中心工作流调度算法,其特征在于,在步骤4中,所述算法运行环境的解析与封装方法分析包括:
步骤4-1-1:查询预先配置的算法库中关于该算法资源的信息,确定算法资源是否具备源代码和源代码的路径,同时对该路径下的源代码与动态链接库文件进行检查;
步骤4-1-2:对算法可执行文件运行用户的环境变量进行解析,提取出算法运行时动态链接库所需的环境变量名称,并保存为xml文件格式;
步骤4-1-3:对算法运行所依赖的动态链接库进行封装,并使动态链接库的封装与预先配置的算法源代码的压缩方法一致。
3.根据权利要求1所述的基于近数据计算原则的多卫星数据中心工作流调度算法,其特征在于,在步骤4中,所述算法的跨计算模型自动编译包括:
步骤4-2-1:利用预先配置在系统平台中与源代码与动态链接库的压缩文件格式相匹配的解压缩命令对源代码与动态链接库进行解压缩,并且将动态链接库解压缩后的路径保存在预先配置的临时文件中;
步骤4-2-2:算法资源迁移到目标数据中心后,同时还要将迁移过来的动态链接库文件所对应的路径添加到环境变量中,将步骤4-2-1中所记录的动态链接库文件路径更新到当前用户的环境变量中,并判断配置文件中是否已存在同名环境变量,在不存在同名环境变量的情况下,新建环境变量并对其赋值;
步骤4-2-3:对预先配置的自动编译脚本进行调用,通过预先设置的ssh协议调用目标数据中心的预先配置的算法编译Make File文件,驱动算法资源编译过程自动执行;
步骤4-2-4:编译成功后的算法资源生成相匹配的可执行文件,通过预先配置的数据库操作接口增加目标数据中心算法库中的新算法记录。
4.根据权利要求3所述的基于近数据计算原则的多卫星数据中心工作流调度算法,其特征在于,在步骤4-2-2中,在存在同名环境变量的情况下,对该环境变量进行追加。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院遥感与数字地球研究所,未经中国科学院遥感与数字地球研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410851865.9/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置