[发明专利]一种遥感图像处理Docker集群的condor任务映射方法

说明书

本发明涉及一种遥感图像处理Docker集群的condor任务映射方法，属于云计算领域。在整个处理过程中，Docker与Condor及任务的的关联是通过系统自动生成满足ClassAd资源匹配的Docker universe模式任务提交描述文件来实现的，启动condor执行主机上的Docker容器去运行遥感图像处理算法，在物理机上部署Condor集群，在condor执行客户端上部署docker‑engine，构建Condor集群环境；通过存储Docker镜像的元数据，并在MySQL中存储该物理机的IP地址信息与镜像名；根据Condor ClassAD任务描述方法，以及MySQL中记录的信息，前端页面提供的可视化页面，让用户可以通过可视化页面形成满足其需求的任务提交文件生成向导。该发明采用容器的方式，提高了分布式环境下遥感图像处理节点的资源利用率，使得多个遥感任务可以在同一台物理机上运行。

技术领域

本发明涉及一种面向遥感图像处理Docker集群的condor任务映射，属于云计算领域。

背景技术

Docker可以将遥感专业软件和遥感图像处理算法以及依赖工具打包到一个可移植的容器中，实现Docker集群的快速启动以及Docker的便捷迁移。Docker与虚拟机相比，其显著特点是启动快，资源占用小，能够在一个物理机或虚拟机上启动多个Docker容器，将多个遥感图像处理算法同时运行在同一个物理机或虚拟机上，可以轻松的实现同一个物理节点上资源隔离地并行运行多个遥感图像处理任务，极大程度的利用了物理机的资源。然而，当遥感用户不停将大量的遥感算法及其运行环境打包到Docker容器中时，导致用户采用手工启动不同的Docker容器执行成百上千甚至更多的遥感任务时，手工管理和配置几十台甚至几百台计算节点上几千个Docker镜像名与计算节点之间的对应关系，对他们来说是不可以接受的，因而他们需要一个工具去自动化管理计算节点和容器，并快速将他们的需求可视化映射到不同的Docker容器中去执行。Condor集群软件能实现对分布式计算资源的自动化管理，并且它能使用classAd语言去描述Condor集群中任务的提交，因此我们可以将遥感用户的任务通过开发可视化工具，自动映射到Condor ClassAd语言，实现对Docker中遥感算法的调用，使得遥感用户能便捷快速使用Docker集群去处理遥感图像。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，提供一种遥感图像处理Docker集群的condor任务映射方法，提高了分布式环境下遥感图像处理节点的资源利用率，同时采用容器的方式，使得多个遥感任务可以在同一台物理机上运行。

为解决上述技术问题，本发明采用的技术方案是：一种遥感图像处理Docker集群的condor任务映射方法，其特征在于，包括有以下步骤：

S1：进行Condor集群构建；构建出物理机的condor集群，在每个物理机安装docker-engine，构建使用不同Docker容器作为job调度的Condor集群环境；

S2：进行镜像元数据存储；通过镜像元数据存储记录Docker镜像的元数据；

S3：进行Docker部署信息存储；记录在物理机上存储的Docker镜像名，并在MySQL中存储该物理机的IP地址信息与该物理机上存储的镜像名；

S4：进行任务提交文件生成向导；根据Condor ClassAD任务描述方法，以及MySQL中记录的信息，提供可视化页面，用户通过可视化页面进行自定义操作。