[发明专利]一种数据集缓存排队的方法和装置

权利要求书

1.一种数据集缓存排队的方法，其特征在于，所述方法包括：

通过创建的资源池为每个训练任务分配相应的资源空间；

为每个所述训练任务分配一个线程池，根据所述训练任务的数据集缓存配置相应的所述线程池的线程；

将每个所述线程池配置为同一时刻只运行所述线程池中的一个所述线程；

下载每个所述训练任务中运行的所述线程中的所述数据集缓存；

响应于所述训练任务的所有所述数据集缓存全部下载完成，回收所述训练任务对应的所述线程池，并回收所述资源池中所述训练任务对应的所述资源空间。

2.根据权利要求1所述的数据集缓存排队的方法，其特征在于，所述方法还包括：

通过创建的监控进程实时监控所述资源池中的所述训练任务，通过创建的所述资源池管理所述训练任务。

3.根据权利要求1所述的数据集缓存排队的方法，其特征在于，所述方法还包括：

响应于接收到执行所述训练任务的请求，判断所述资源池中是否包含所述训练任务对应的所述资源空间；

响应于判断所述资源池中未包含所述训练任务对应的所述资源空间，在所述资源池中创建新的资源空间分配给所述训练任务。

4.根据权利要求1所述的数据集缓存排队的方法，其特征在于，所述方法还包括：

将所述线程池中的若干所述线程配置为按照先进先出的顺序排队。

5.根据权利要求1所述的数据集缓存排队的方法，其特征在于，所述为每个所述训练任务分配一个线程池，根据所述训练任务的数据集缓存配置相应的所述线程池的线程还包括：

将所述训练任务按照所述数据集缓存拆分为数据集下载任务的队列，并顺序将所述数据集下载任务发送至所述线程池中。

6.根据权利要求5所述的数据集缓存排队的方法，其特征在于，所述将每个所述线程池配置为同一时刻只运行所述线程池中的一个所述线程还包括：

将所述数据集下载任务入栈至所述线程池中，将所述线程池的核心线程数配置为1。

7.根据权利要求5所述的数据集缓存排队的方法，其特征在于，所述下载每个训练任务中运行的线程中的数据集缓存还包括：

响应于所述数据集下载任务出栈，调用底层的公用基础组件下载所述数据集缓存。

8.一种数据集缓存排队的装置，其特征在于，所述装置包括：

资源空间分配模块，所述资源空间分配模块配置为通过创建的资源池为每个训练任务分配相应的资源空间；

线程池配置模块，所述线程池配置模块配置为为每个所述训练任务分配一个线程池，根据所述训练任务的数据集缓存配置相应的所述线程池的线程；

线程池运行模块，所述线程池运行模块配置为将每个所述线程池配置为同一时刻只运行所述线程池中的一个所述线程；

数据集缓存下载模块，所述数据集缓存下载模块配置为下载每个所述训练任务中运行的所述线程中的所述数据集缓存；

回收模块，所述回收模块配置为响应于所述训练任务的所有所述数据集缓存全部下载完成，回收所述训练任务对应的所述线程池，并回收所述资源池中所述训练任务对应的所述资源空间。

9.根据权利要求8所述的数据集缓存排队的装置，其特征在于，所述装置还包括：

监控管理模块，所述监控管理模块配置为通过创建的监控进程实时监控所述资源池中的所述训练任务，通过创建的所述资源池管理所述训练任务。

10.根据权利要求8所述的数据集缓存排队的装置，其特征在于，所述装置还包括：

资源空间判断模块，所述资源空间判断模块配置为响应于接收到执行所述训练任务的请求，判断所述资源池中是否包含所述训练任务对应的所述资源空间；响应于判断所述资源池中未包含所述训练任务对应的所述资源空间，在所述资源池中创建新的资源空间分配给所述训练任务。