[发明专利]训练样本读取方法及装置

说明书

本申请提供一种训练样本读取方法，方法包括：针对待训练模型的每次训练，判断本地存储介质中是否存储有待训练模型所需的训练样本；若否，则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练，并将读取到的训练样本存储至本地存储介质；若是，则从本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。在模型训练过程中，通过将训练样本存储在本地，从而后续每次都可从本地读取，无需与分布式存储设备交互，使得相同硬件规格的分布式存储设备可支撑更多的训练任务。又由于从本地读取相对从外界读取的速度快很多，因此模型训练效率也高，同时还使得训练设备的存储资源在训练过程中得到有效利用。

技术领域

本申请涉及计算机技术领域，尤其涉及一种训练样本读取方法及装置。

背景技术

当前大规模训练系统由云管理平台、训练设备以及分布式存储设备三部分构成，当用户向云管理平台请求训练任务时，云管理平台将训练任务调度分配给其中的一台训练设备，该训练设备基于接收的训练任务进行模型训练，在训练过程中，需要从分布式存储设备反复多次读取某一样本集中的训练样本进行多次训练，因此分布式设备与训练设备之间的数据吞吐量大。

当有大量用户同时向云管理平台请求训练任务时，处理不同训练任务的训练设备会同时从分布式存储设备读取训练样本。然而，分布式存储设备与训练设备之间的网络带宽是固定的，因此分布式存储设备很容易达到瓶颈，影响训练样本的读取速度，降低模型训练效率。

发明内容

有鉴于此，本申请提供一种训练样本读取方法及装置，以解决训练样本读取速度慢，模型训练效率低的问题。

根据本申请实施例的第一方面，提供一种训练样本读取方法，所述方法应用于训练设备，所述方法包括：

针对待训练模型的每次训练，判断本地存储介质中是否存储有待训练模型所需的训练样本；

若所述本地存储介质中没有待训练模型所需的训练样本，则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练，并将读取到的训练样本存储至本地存储介质；

若待训练模型所需的训练样本已存储在所述本地存储介质，则从所述本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。

根据本申请实施例的第二方面，提供一种训练样本读取装置，所述装置应用于训练设备，所述装置包括：

判断模块，用于针对待训练模型的每次训练，判断本地存储介质中是否存储有待训练模型所需的训练样本；

第一读取模块，用于在所述本地存储介质中没有待训练模型所需的训练样本时，从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练；

存储模块，用于将读取到的训练样本存储至本地存储介质；

第二读取模块，用于在待训练模型所需的训练样本已存储在所述本地存储介质时，从所述本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。

根据本申请实施例的第三方面，提供一种训练设备，所述设备包括可读存储介质和处理器；

其中，所述可读存储介质，用于存储机器可执行指令；

所述处理器，用于读取所述可读存储介质上的所述机器可执行指令，并执行所述指令以实现上述第一方面所述方法的步骤。

应用本申请实施例，针对待训练模型的每次训练，判断本地存储介质中是否存储有待训练模型所需的训练样本，若本地存储介质中没有待训练模型所需的训练样本，则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行本次训练，并将读取到的训练样本存储至本地存储介质；若待训练模型所需的训练样本已存储在本地存储介质，则从本地存储介质中读取待训练模型所需的训练样本以用于对待训练模型进行本次训练。