[发明专利]一种资源管理平台资源回收方法、装置、设备及可读介质

说明书

本发明公开了一种资源管理平台资源回收方法，包括：获取资源管理平台各个开发环境的资源信息，基于资源信息建立资源依赖关系图，并基于开发环境的若干组件的元数据信息定义依赖关系图中的节点以及基于节点建立依赖关系；响应于接收到回收资源的任务，基于依赖关系图查找待回收资源的附属资源；以及对待回收资源和待回收资源的附属资源进行回收，并更新依赖关系图。本发明还公开了一种资源管理平台资源回收装置、计算机设备和可读存储介质。本发明通过动态实时构建平台内多种资源的依赖关系图，来保证用户主动删除的资源或无效资源能够被正确回收，从而保证平台资源的最终一致性，从而提高AI资源管理平台的稳定性，保证平台资源数据准确性。

技术领域

本发明涉及资源管理技术领域，尤其涉及一种资源管理平台资源回收方法、装置、设备及可读介质。

背景技术

AI资源管理平台为AI开发者提供了强大的资源管理能力，这些资源包括物力资源，例如CPU、内存、GPU、FPGA、Infiniband网络等，也包括对这些物理资源进行业务管理的逻辑资源，例如资源组、用户组、任务队列、数据集缓存等。AI资源管理平台需要为用户提供这些资源，也需要在用户不再使用这些资源时，能够高效的删除回收这些资源，从而能够被其他用户再使用。

目前大部分的AI资源管理平台或者其他平台类产品都会采用微服务架构，即系统会由多个微服务组件聚合而成，每个组件以服务的方式运行并提供REST或者RPC接口，其他组件需要通过同步或者异步调用REST/RPC接口完成功能实现，由于各个组件是以独立的微服务方式运行，每个微服务的运行状态相互独立，在部分组件出现异常时，其他服务在调用该异常组件时出现异常，导致业务流程中断，此时会在数据库或者底层资源池预占了一些资源，但是无法被释放。

通常解决该问题是基于分布式事务，例如两阶段提交、补偿事务、消息队列等，但是分布式事务的实现比较复杂，需要将事务机制更多嵌入到业务的处理流程，通常不具有通用性，并且大部分的业务场景无法支持一个安全完整的事务回滚，同时需要对每个微服务的业务处理流程做较多的改动。

发明内容

有鉴于此，本发明实施例的目的在于提出一种资源管理平台资源回收方法、装置、设备及可读介质，通过动态实时构建平台内多种资源的依赖关系图，来保证用户主动删除的资源、由于微服务组件异常导致的无效资源能够被正确回收，从而保证平台资源的最终一致性。避免微服务架构下由于微服务异常导致的集群资源不能被正常回收的问题，从而提高AI资源管理平台的稳定性，保证平台资源数据准确性。

基于上述目的，本发明实施例的一方面提供了一种资源管理平台资源回收方法，包括以下步骤：获取资源管理平台各个开发环境的资源信息，基于资源信息建立资源依赖关系图，并基于开发环境的若干组件的元数据信息定义依赖关系图中的节点以及基于节点建立依赖关系；响应于接收到回收资源的任务，基于依赖关系图查找待回收资源的附属资源；以及对待回收资源和待回收资源的附属资源进行回收，并更新依赖关系图。

在一些实施方式中，还包括：响应于用户输入开发环境名称查询资源，获取开发环境名称对应的依赖关系图，通过图谱的形式返回开发环境中的全部资源以及逻辑资源之间、逻辑资源与物理资源之间的依赖关系。

在一些实施方式中，还包括：响应于接收到用户对开发环境的操作命令，基于操作命令更新依赖关系图。

在一些实施方式中，依赖关系图包括资源的名称、父资源、状态、删除时间和创建资源的组件。

在一些实施方式中，还包括：响应于回收任务执行出现异常，判断待回收资源的附属资源是否全部完成回收；若是待回收资源的附属资源未全部完成回收，将待回收资源的状态设置为删除中，并对待回收资源的附属资源进行回收；若是待回收资源的附属资源全部完成回收，再次对待回收资源进行回收。

在一些实施方式中，对待回收资源和待回收资源的附属资源进行回收包括：依次调用待回收资源和待回收资源的附属资源所在组件的微服务接口，释放对应的物理资源。