[发明专利]一种机器学习训练数据集的获取方法、获取装置及终端

说明书

本申请适用于机器学习领域，提供一种机器学习训练数据集的获取方法、获取装置及终端，其中方法包括：获取机器学习训练任务中训练数据的打包指令，基于打包指令，向机器学习训练任务的分配节点服务器发送训练数据集的本地缓存查询请求；在确定分配节点服务器的本地缓存中不存在训练数据集的情况下，向远程服务器发送训练数据集的远程缓存查询请求；在确定远程服务器的缓存中不存在训练数据集的情况下，通过资源调度器获取与打包策略相对应的算力资源；基于算力资源执行打包策略，得到训练数据集并将训练数据集分发至分配节点服务器，有效解决大规模数据场景算法训练的数据打包、数据传输问题，大大缩短机器学习算法训练时间。

技术领域

本申请属于机器学习领域，尤其涉及一种机器学习训练数据集的获取方法、获取装置及终端。

背景技术

机器学习成为现今人工智能方面的重要过程。数据作为人工智能算法的基础要素，其重要性不言而喻，只有拥有质量好，足够数量的数据，产生高质量模型的概率就越大；随着互联网和物联网传感器的高速发展，获取数据的手段越来越丰富，获取到的数据量也越来越巨大。

在执行机器学习训练任务时，需要用到大量的训练数据，对其进行数据打包并分发给训练节点服务器。而当前训练数据的主要获取方式是在当训练任务被触发时，从数据中心对训练数据进行源数据获取，在此数据基础上实现数据打包及数据分发。

而该源数据的存储方式可能是在私有存储服务器集群存储，即将数据存储在私有数据中心的分布式存储系统上，或者在公有云存储服务存储，即将数据存储在公有云提供商提供的存储服务上。

而该两种方式，在对数据进行获取时，都不可避免的受到网络传输，存储硬件设备，以及设备资源可用情况等因素的影响，尤其在大规模数据场景下，即百万张图片规模数据，千万张图片数据，甚至亿级十亿以上规模数据场景下，

如遇上大批量用户进行使用相同数据的算法训练，或相同算法使用相同数据集进行多版本算法训练时，则现有的训练数据传输方式在数据打包传输过程中会造成算力资源及时间资源的极大损耗，无法及时有效实现算法训练需求的数据的快速打包、传输，无法支撑大规模分布式机器学习算法训练时数据的及时有效传输需求。

发明内容

本申请实施例提供了一种机器学习训练数据集的获取方法、获取装置及终端，以解决现有技术中现有的训练数据传输方式在数据打包传输过程中会造成算力资源及时间资源的极大损耗，无法及时有效实现算法训练需求的数据的快速打包、传输，无法支撑大规模分布式机器学习算法训练时数据的及时有效传输需求的问题。

本申请实施例的第一方面提供了一种机器学习训练数据集的获取方法，包括：

获取机器学习训练任务中训练数据的打包指令，所述打包指令中包括所述训练数据的打包策略；

基于所述打包指令，向所述机器学习训练任务的分配节点服务器发送训练数据集的本地缓存查询请求；

在基于所述本地缓存查询请求，确定所述分配节点服务器的本地缓存中不存在所述训练数据集的情况下，向远程服务器发送所述训练数据集的远程缓存查询请求；

在基于所述远程缓存查询请求，确定所述远程服务器的缓存中不存在所述训练数据集的情况下，通过资源调度器获取与所述打包策略相对应的算力资源；

基于所述算力资源执行所述打包策略，得到所述训练数据集并将所述训练数据集分发至所述分配节点服务器，指示所述分配节点服务器将所述训练数据集缓存至本地。

本申请实施例的第二方面提供了一种机器学习训练数据集的获取装置，包括：

第一获取模块，用于获取机器学习训练任务中训练数据的打包指令，所述打包指令中包括所述训练数据的打包策略；

第一发送模块，用于基于所述打包指令，向所述机器学习训练任务的分配节点服务器发送训练数据集的本地缓存查询请求；