[发明专利]基于AI训练平台的文件操作队列控制方法、装置及介质

说明书

本申请公开了一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质。其中，方法包括当接收到登录AI训练平台的授权用户下发的文件操作指令，根据文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将线程绑定标识与负责处理文件操作指令的执行线程进行绑定。若存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入已有线程绑定标识对应的阻塞队列中；若不存在与线程绑定标识相同的已有线程绑定标识，将执行线程放入新构建的阻塞队列；依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。本申请可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质。

背景技术

随着AI（Artificial Intelligence，人工智能）技术的快速发展以及广泛应用，越来越多的研究机构、企业对用户的体验和服务的性能以及稳定性要求越来越高，与此同时，如何高效提升企业机构里算法研究人员的资源使用效率，提高人员工作效率以及提升操作体验，是目前所有AI训练平台追求的目标。

AI训练平台用于管理并调度cpu（Central Processing Unit ，中央处理器）、gpu（Graphics Processing Unit，图形处理器）等资源、模型训练及任务管理等。目前的AI训练平台为一个基础模块，会涉及大量文件操作，就是属于AI训练平台的文件管理模块。此模块一般是对算法人员的模型、训练数据集脚本和数据集等文件的操作管理。对于现有的文件管理模块，针对大文件复制、删除、上传、移动、解压缩等文件操作非常耗时，让用户长久等待，用户使用体验不佳，而且非常消耗服务资源，AI训练平台支持文件操作的系统性能较低。

鉴于此，如何降低AI训练平台的文件操作过程中的服务资源消耗，提升用户使用体验，是所属领域技术人员需要解决的技术问题。

发明内容

本申请提供了一种基于AI训练平台的文件操作队列的控制方法、装置及计算机可读存储介质，不仅可有效降低AI训练平台的文件操作过程中的服务资源消耗，提升AI训练平台性能，还可提升用户使用体验。

为解决上述技术问题，本发明实施例提供以下技术方案：

本发明实施例一方面提供了一种基于AI训练平台的文件操作队列的控制方法，包括：

当接收到登录AI训练平台的授权用户下发的文件操作指令，为所述文件操作指令分配执行线程，同时根据所述文件操作指令的文件操作类型和用户标识信息生成线程绑定标识，并将所述执行线程与所述线程绑定标识进行绑定；

若存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入所述已有线程绑定标识对应的阻塞队列中；若不存在与所述线程绑定标识相同的已有线程绑定标识，将所述执行线程放入构建的新阻塞队列；

依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程。

可选的，所述接收到登录AI训练平台的授权用户下发的文件操作指令之后，还包括：

向所述授权用户反馈文件请求标识，所述文件请求标识用于唯一标识所述文件操作指令对应的文件操作；

当接收到所述授权用户下发的携带所述文件请求标识的进度查询请求，反馈所述文件请求标识对应的文件操作的任务完成状态信息。

可选的，所述依次按序执行同一队列的各执行线程，并发执行不同队列的执行线程之后，还包括：

当检测到所述授权用户重新登录所述AI训练平台，自动清除上一次登录过程中所有已完成的文件操作信息；

向所述授权用户展示上一次登录过程中未成功完成的文件操作信息。