[发明专利]获取样本的方法及装置、电子设备和存储介质

权利要求书

1.一种获取样本的方法，其特征在于，所述方法包括：

对数据集中的多个数据块进行打乱，每个数据块包括多个样本；

将打乱后的所述多个数据块划分为多个处理批次，每个处理批次包括多个数据块；

对同一处理批次中所有数据块中的所有的样本进行打乱，得到各处理批次对应的样本获取顺序；

针对任一处理批次，按照对应的样本获取顺序，获取样本；

其中，在所述获取样本之前，所述方法还包括：从分布式系统获取所述样本所属数据块并缓存至本地；

其中，按照对应的样本获取顺序，获取样本，包括：按照对应的样本获取顺序，分次获取样本，每次获取一个或多个样本，单次获取的多个样本属于同一数据块。

2.根据权利要求1所述的方法，其特征在于，按照对应的样本获取顺序，分次获取样本，包括：

按照对应的样本获取顺序，确定待获取的多个样本中的目标样本，所述目标样本为本次待获取的一个样本；

从本地缓存中读取所述目标样本。

3.根据权利要求2所述的方法，其特征在于，在所述从本地缓存中读取所述目标样本之后，所述方法还包括：

从本地缓存中读取所述待获取的多个样本中与所述目标样本属于同一数据块的样本。

4.根据权利要求2或3所述的方法，其特征在于，所述从本地缓存中读取所述目标样本，包括：

根据所述目标样本的标识和所述目标样本所属数据块的标识之间的映射关系，在本地缓存中查找所述目标样本对应的目标数据块，并从所述目标数据块中读取所述目标样本。

5.根据权利要求2或3所述的方法，其特征在于，所述从本地缓存中读取所述目标样本，包括：

根据所述目标样本的标识和所述目标样本所属数据块的标识之间的映射关系，在本地缓存中未查找到所述目标样本对应的目标数据块，则从分布式系统中读取所述目标数据块并缓存至本地；

从本地缓存的所述目标数据块中读取所述目标样本。

6.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：

在本地缓存中数据块的数量达到阈值的情况下，清理本地缓存。

7.根据权利要求6所述的方法，其特征在于，所述清理本地缓存，包括：

根据本地缓存中数据块的访问时间，删除所述本地缓存中的至少一个数据块，其中，所述至少一个数据块的最近一次被访问时间，早于所述本地缓存中除被删除的数据块以外的其他数据块的最近一次被访问的时间。

8.根据权利要求1至3中任意一项所述的方法，其特征在于，所述方法还包括：

在本地保存各样本的标识、各数据块的标识以及所述各样本在数据块中的位置信息。

9.根据权利要求8所述的方法，其特征在于，所述各样本的标识、所述各数据块的标识以及所述各样本在数据块中的位置信息，以映射关系的形式进行存储。

10.根据权利要求1至3中任意一项所述的方法，其特征在于，所述数据集中的多个数据块存储于分布式系统中，所述样本包括图像。

11.一种获取样本的装置，其特征在于，所述装置包括：

第一打乱模块，用于对数据集中的多个数据块进行打乱，每个数据块包括多个样本；

划分模块，用于将所述第一打乱模块打乱后的所述多个数据块划分为多个处理批次，每个处理批次包括多个数据块；

第二打乱模块，用于对所述划分模块划分的同一处理批次中所有数据块中的所有的样本进行打乱，得到各处理批次对应的样本获取顺序；

获取模块，用于针对任一处理批次，按照所述第二打乱模块得到的对应的样本获取顺序，获取样本；

缓存模块，用于在所述获取样本之前，从分布式系统获取所述样本所属数据块并缓存至本地；其中，所述获取模块还用于：按照对应的样本获取顺序，分次获取样本，每次获取一个或多个样本，单次获取的多个样本属于同一数据块。