[发明专利]一种分布式调度方法及装置、设备、存储介质

说明书

本申请实施例公开了一种分布式调度方法及装置、设备、存储介质，其中，该方法包括：获取应用程序和应用程序运行需要的运行环境；确定应用程序的配置参数；根据所述配置参数，在分布式集群中进行节点调度，确定用于运行所述应用程序的目标节点；其中，分布式集群包括多个节点；将应用程序和所述运行环境发送到目标节点，以通过目标节点在运行环境中运行应用程序。通过将应用程序与应用程序运行需要的运行环境发送到目标节点上，保证了虚拟环境的统一，避免了不同节点上的虚拟环境存在版本差异和依赖差异导致的运行问题。

技术领域

本申请实施例涉及但不限于集群资源调度技术，尤其涉及一种分布式调度方法及装置、设备、存储介质。

背景技术

相关技术中，在分布式环境上运行应用程序的场景下，需要首先通过自定义程序将应用程序调度到有资源空闲的节点上，然后在该节点上运行应用程序。然而，由于分布式集群中存在多个节点，且不同节点上的运行环境存在版本差异和依赖差异，因此，当应用程序被调度到不同节点运行时，由于不同节点运行环境的差异，容易导致应用程序出现运行问题。

发明内容

有鉴于此，本申请实施例为解决相关技术中存在的至少一个问题而提供一种分布式调度方法及装置、设备、存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种分布式调度方法，所述方法包括：

获取应用程序和所述应用程序运行需要的运行环境；

确定所述应用程序的配置参数；

根据所述配置参数，在分布式集群中进行节点调度，确定用于运行所述应用程序的目标节点；

将所述应用程序和所述运行环境发送到所述目标节点，以通过所述目标节点在所述运行环境中运行所述应用程序。

在一些实施例中，所述应用程序为Python应用程序，所述运行环境为Python的虚拟环境；所方法还包括：根据所述配置参数，生成配置文件；根据所述配置文件，启动Skein模块；调用所述Skein模块缓存所述Python应用程序和运行所述Python应用程序的虚拟环境。

在一些实施例中，所述调用所述Skein模块缓存所述Python应用程序和运行所述Python应用程序的虚拟环境，包括：调用所述Skein模块将所述Python应用程序和运行所述Python应用程序的虚拟环境缓存在分布式文件系统；对应地，所述将所述应用程序和所述运行环境发送到所述目标节点，包括：调用所述Skein模块读取所述分布式文件系统中的所述Python应用程序和运行所述Python应用程序的虚拟环境；调用所述Skein模块将所述Python应用程序和所述虚拟环境发送到所述目标节点；调用所述分布式文件系统清除缓存的所述Python应用程序和所述虚拟环境。

这样，可以通过Skein与分布式文件系统的结合使用，将应用程序和运行所述应用程序的运行环境缓存在分布式文件系统中，在确定应用程序被调度到的目标节点之后，可以从分布式文件系统读取缓存的应用程序和运行应用程序的虚拟环境，并将读取的应用程序和虚拟环境发送到目标节点，从而可以提升向目标节点发送应用程序和虚拟环境的效率，从而可以提升应用程序的运行效率。

在一些实施例中，所述根据所述配置参数，在分布式集群中进行节点调度，确定用于运行所述应用程序的目标节点，包括：调用分布式集群的资源管理器确定分布式集群中满足所述配置参数的资源空闲节点；调用分布式集群的资源管理器根据所述资源空闲节点，确定用于运行所述Python应用程序的目标节点。

这样，可以通过Skein与分布式集群的资源管理器的结合使用，使得应用程序的调度能够通过分布式集群的资源管理器平台进行管理，并且，能够与其他通过分布式集群的资源管理器平台进行管理的工作流统一管理，从而提高了应用程序进行分布式调度的易用性。