[发明专利]分布式资源调度方法、装置及系统

说明书

本公开提供了分布式资源调度方法、装置及系统，涉及人工智能中的自动驾驶技术，可以应用于高精地图，该方法应用于集群中的电子设备，电子设备所归属的集群为在线的集群，该方法包括：获取待处理任务的有向无环图，并确定执行有向无环图所指示的处理流程的资源需求量，若电子设备的当前的可用资源量未达到资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行有向无环图所指示的处理流程，实现了在线电子设备与离线设备之间的资源调用，从而实现了提高在线电子设备处理在线任务的效率，且可以实现大规模的任务调度的技术效果。

技术领域

本公开涉及人工智能(Artificial Intelligence，AI)中的自动驾驶技术，可以应用于高精地图，尤其涉及一种分布式资源调度方法、装置及系统。

背景技术

airflow是一款开源的分布式任务调度框架，该任务调度框架可以部署于设备集群(如Kubernetes(又称K8s)设备集群)，以通过对设备集群中的各设备的资源调度而完成相应的数据处理任务(如完成电子地图制作的任务等)。分布式任务调度框架中包括如下组件：调度器(scheduler)和任务队列(queue)和工作进程(worker)。

在现有技术中，由调度器获取数据处理请求，如生成电子地图的请求，基于数据处理请求中的有向无环图确定用于生成电子地图的各任务，将各任务添加至任务队列中，创建并调用工作进程执行任务队列中的任务，从而生成电子地图。

然而，采用上述方法，完成数据处理请求的效率偏低，且无法处理大规模的任务调度。

发明内容

本公开提供了一种用于分布式资源调度方法、装置及系统。

根据本公开的第一方面，提供了一种分布式资源调度方法，所述方法应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述方法包括：

获取待处理任务的有向无环图，并确定执行所述有向无环图所指示的处理流程的资源需求量；

若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源，并至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

根据本公开的第二方面，提供了一种分布式资源调度装置，所述装置应用于集群中的电子设备，所述电子设备所归属的集群为在线的集群，所述装置包括：

获取单元，用于获取待处理任务的有向无环图；

确定单元，用于确定执行所述有向无环图所指示的处理流程的资源需求量；

调取单元，用于若所述电子设备的当前的可用资源量未达到所述资源需求量，则从离线设备中调取资源；

执行单元，用于至少根据所调取的资源，执行所述有向无环图所指示的处理流程。

根据本公开的第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。

根据本公开的第四方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。

根据本公开的第五方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。