[发明专利]海洋卫星遥感数据挖掘模型调度方法、系统、设备和介质

说明书

本发明提供一种海洋卫星遥感数据挖掘模型调度方法、系统、设备和介质，方法包括：建立模型描述的规范，根据规范建立目标模型对应的模型描述文件；分析并收集目标模型的第三方依赖，形成依赖清单；以Docker容器平台为基础，构件基础容器，并在基础容器中创建Model目录，将目标模型和依赖清单大包放入Model目录，并将依赖清单中的第三方依赖安装至基础容器中；将基础容器重新进行构件commit，形成模型镜像，将模型镜像推送至模型镜像仓库；在需要使用模型的环境中，使用pull命令，将模型镜像从模型镜像仓库中拉取到本地，通过run命令将模型镜像启动，创建模型容器，模型环境的迁移速度和复用率也得到大幅提升。

技术领域

本发明涉及计算机技术领域，特别涉及一种海洋卫星遥感数据挖掘模型调度方法、系统、设备和介质。

背景技术

遥感数据挖掘是进一步提升遥感数据价值的有效手段，通过算法模型进行遥感数据挖掘分析，有效提升了数据挖掘的效率，然而目前的方式存在多个不足，其一：挖掘方式是以脚本进程的方式运行，执行过程中不能有效干预，比如暂停、重启、进度反馈等。同时在多用户并发调度时，容易导致进程停止响应，且多个模型进程间无法有效隔离，易造成相互间的影响，从而影响到整个调度业务；其二：自动化程度低，模型的构建、交付和部署大多依赖人工操作，效率低下，且容易出错，无法对操作过程进行记录和快速回滚；其三：挖掘模型普遍依赖了大量的第三方组件，在迁移部署时极为不方便，无法将现成的挖掘环境复用。

发明内容

本发明要解决的技术问题，在于提供一种海洋卫星遥感数据挖掘模型调度方法、系统、设备和介质，以容器为载体封装成熟的挖掘模型，用户不需要重复进行依赖组件的安装，同时由于容器的封闭性和隔离性，模型与模型之间互不受干扰，通过控制端口能有效地管理和监控数据挖掘模型的过程，对调度过程进行管控，模型环境的迁移速度和复用率也得到大幅提升。

第一方面，本发明提供了一种海洋卫星遥感数据挖掘模型调度方法，包括：

步骤1、建立模型描述的规范，根据规范建立目标模型对应的模型描述文件；

步骤2、分析并收集目标模型的第三方依赖，形成依赖清单；

步骤3、以Docker容器平台为基础，构件基础容器，并在基础容器中创建Model目录，将目标模型和依赖清单大包放入Model目录，并将依赖清单中的第三方依赖安装至基础容器中；

步骤4、将基础容器重新进行构件commit，形成模型镜像，将模型镜像推送至模型镜像仓库；

步骤5、在需要使用模型的环境中，使用pull命令，根据目标模型对应的模型描述文件将模型镜像从模型镜像仓库中拉取到本地，通过run命令将模型镜像启动，创建模型容器。

进一步地，所述模型描述文件包括模型唯一标识、版本、镜像名称、参数命名以及参数类型，通过模型描述文件对模型进行统一管理。

进一步地，所述步骤2进一步具体为：分析并收集目标模型的第三方依赖，并对第三方依赖的版本进行筛选，形成依赖清单。

进一步地，还包括步骤6、通过基于Docker容器平台提供的docker rest api服务提供的模型操作容器的接口，用于远程停止、启动、删除模型容器，并用于查询容器运行的状态和资源使用情况。

第二方面，本发明提供了一种海洋卫星遥感数据挖掘模型调度系统，包括：

建立描述文件模块，建立模型描述的规范，根据规范建立目标模型对应的模型描述文件；

依赖清单模块，分析并收集目标模型的第三方依赖，形成依赖清单；

基础容器模块，以Docker容器平台为基础，构件基础容器，并在基础容器中创建Model目录，将目标模型和依赖清单大包放入Model目录，并将依赖清单中的第三方依赖安装至基础容器中；