[发明专利]训练样本读取方法及装置

权利要求书

1.一种训练样本读取方法，所述方法应用于训练集群中的任一训练设备，所述训练集群中的每一训练设备均连接于分布式存储设备和云管理平台，其特征在于，所述方法包括：

接收所述云管理平台发送的针对待训练模型的训练任务；

针对所述训练任务中的待训练模型的每一次训练，判断本地存储介质中是否存储有待训练模型该次训练所需的训练样本；若所述本地存储介质中没有待训练模型该次训练所需的训练样本，则从分布式存储设备中读取待训练模型所需的训练样本以对待训练模型进行该次训练，并将读取到的训练样本存储至本地存储介质；若待训练模型所需的训练样本已存储在所述本地存储介质，则从所述本地存储介质中读取待训练模型该次训练所需的训练样本以用于对待训练模型进行该次训练；

在每次训练过程中，在从本地存储介质中读取待训练模型所需的训练样本之后，若所需样本集中还存在本地存储介质未存储的训练样本，从分布式存储设备中读取所述本地存储介质未存储的训练样本，进而利用所需样本集对待训练模型进行本次训练。

2.根据权利要求1所述的方法，其特征在于，从分布式存储设备中读取待训练模型该次训练所需的训练样本以对待训练模型进行该次训练，包括：

获取所述待训练模型所需样本集包含的每条训练样本的访问路径；

从分布式存储设备中读取每条访问路径上的训练样本以对待训练模型进行本次训练。

3.根据权利要求2所述的方法，其特征在于，所述本地存储介质包括内存和磁盘；

将读取到的训练样本存储至本地存储介质，包括：

针对读取到的每条训练样本，若内存中剩余空间大于第一预设阈值，则将该训练样本存储至内存；

若内存中剩余空间小于第一预设阈值且磁盘中剩余空间大于第二预设阈值，则将该训练样本存储至磁盘；

若内存中剩余空间小于第一预设阈值且磁盘中剩余空间小于第二预设阈值，则停止存储。

4.根据权利要求3所述的方法，其特征在于，在将读取到的训练样本存储至内存或磁盘之后，所述方法还包括：

针对存储至内存或磁盘中的每条训练样本，为该训练样本生成存储路径和状态标识，并利用所述存储路径更新该训练样本的访问路径，并对应更新后的访问路径记录所述状态标识，所述状态标识用于指示训练样本存储至内存还是磁盘；

判断本地存储介质中是否存储有待训练模型所需的训练样本，包括：

判断待训练模型所需样本集包含的访问路径中是否存在记录有状态标识的访问路径；

若存在，则确定本地存储介质中存储有待训练模型所需的训练样本；

若不存在，则确定本地存储介质中没有待训练模型所需的训练样本。

5.根据权利要求4所述的方法，其特征在于，从本地存储介质中读取待训练模型所需的训练样本，包括：

从所述待训练模型所需样本集中获取记录有状态标识的访问路径；

针对每条记录有状态标识的访问路径，若该访问路径的状态标识指示存储至内存，则从内存中读取该访问路径上的训练样本；若该访问路径的状态标识指示存储至磁盘，则从磁盘中读取该访问路径上的训练样本。

6.根据权利要求4所述的方法，其特征在于，在从本地存储介质中读取待训练模型所需的训练样本之后，若所述待训练模型所需样本集中存在未记录状态标识的访问路径，所述方法还包括：

从分布式存储设备中读取未记录状态标识的访问路径上的训练样本；

利用从本地存储介质中读取的训练样本和从分布式存储设备中读取的训练样本对待训练模型进行本次训练。