[发明专利]一种机器学习训练数据集的获取方法、获取装置及终端

权利要求书

1.一种机器学习训练数据集的获取方法，其特征在于，包括：

获取机器学习训练任务中训练数据的打包指令，所述打包指令中包括所述训练数据的打包策略；

基于所述打包指令，向所述机器学习训练任务的分配节点服务器发送训练数据集的本地缓存查询请求；

在基于所述本地缓存查询请求，确定所述分配节点服务器的本地缓存中不存在所述训练数据集的情况下，向远程服务器发送所述训练数据集的远程缓存查询请求；

在基于所述远程缓存查询请求，确定所述远程服务器的缓存中不存在所述训练数据集的情况下，通过资源调度器获取与所述打包策略相对应的算力资源；

基于所述算力资源执行所述打包策略，得到所述训练数据集并将所述训练数据集分发至所述分配节点服务器，指示所述分配节点服务器将所述训练数据集缓存至本地。

2.根据权利要求1所述的获取方法，其特征在于，所述基于所述打包指令，向所述机器学习训练任务的分配节点服务器发送训练数据集的本地缓存查询请求，包括：

基于所述打包指令，向所述机器学习训练任务的当前分配节点服务器发送训练数据集的本地缓存查询请求；

在基于所述本地缓存查询请求，确定所述当前分配节点服务器的本地缓存中不存在所述训练数据集的情况下，向处理过所述机器学习训练任务或处理过与所述机器学习训练任务同类型的训练任务的同层级节点服务器发送所述本地缓存查询请求；

在基于所述本地缓存查询请求，确定所述同层级节点服务器的本地缓存中不存在所述训练数据集的情况下，确定所述分配节点服务器的本地缓存中不存在所述训练数据集。

3.根据权利要求2所述的获取方法，其特征在于，所述基于所述打包指令，向所述机器学习训练任务的当前分配节点服务器发送训练数据集的本地缓存查询请求之后，还包括：

在基于所述本地缓存查询请求，确定所述当前分配节点服务器的本地缓存中存在所述训练数据集的情况下，根据所述当前分配节点服务器中的所述训练数据集的使用热度值与预设值，确定更新后的所述使用热度值。

4.根据权利要求2所述的获取方法，其特征在于，所述向处理过所述机器学习训练任务或处理过与所述机器学习训练任务同类型的训练任务的同层级节点服务器发送所述本地缓存查询请求之后，还包括：

在基于所述本地缓存查询请求，确定所述同层级节点服务器的本地缓存中存在所述训练数据集的情况下，将所述同层级节点服务器的本地缓存中的所述训练数据集分发至所述当前分配节点服务器，指示所述当前分配节点服务器将所述训练数据集缓存至本地。

5.根据权利要求1所述的获取方法，其特征在于，所述向远程服务器发送所述训练数据集的远程缓存查询请求，包括：

向第一层级缓存服务器发送所述训练数据集的所述远程缓存查询请求；

在基于所述远程缓存查询请求，确定所述第一层级缓存服务器的缓存中不存在所述训练数据集的情况下，向根节点层级缓存服务器发送所述远程缓存查询请求；

其中，所述第一层级缓存服务器中存储有预设时间内使用热度值处于设定范围的训练数据集；所述根节点层级缓存服务器中存储有所有使用过的训练数据集。

6.根据权利要求1所述的获取方法，其特征在于，所述基于所述算力资源执行所述打包策略，得到所述训练数据集之后，还包括：

判断处理过与所述机器学习训练任务同类型的训练任务的同层级节点服务器的本地是否缓存有所述训练数据集；

若判断结果为否，则将所述训练数据集分发至所述同层级节点服务器，指示所述同层级节点服务器将所述训练数据集缓存至本地。

7.根据权利要求1所述的获取方法，其特征在于，

所述分配节点服务器为服务器集群中，处理过所述机器学习训练任务或处理过与所述机器学习训练任务同类型的训练任务的节点服务器。