[发明专利]获取样本的方法及装置、电子设备和存储介质

说明书

本公开涉及一种获取样本的方法及装置、电子设备和存储介质，所述方法包括：对数据集中的多个数据块进行打乱，每个数据块包括多个样本；将打乱后的所述多个数据块划分为多个处理批次；对同一处理批次中的多个样本进行打乱，得到各处理批次对应的样本获取顺序；针对任一处理批次，按照对应的样本获取顺序，获取样本。本公开实施例可提升样本获取效率。

技术领域

本公开涉及计算机技术领域，尤其涉及一种获取样本的方法及装置、电子设备和存储介质。

背景技术

在深度学习中，如果每次训练时采用的样本的顺序都相同，则会导致训练出来的模型过拟合。因此，每次训练之前需要将数据集中的样本的顺序打乱。然而，相关技术中，在将数据集中的样本的顺序打乱后，存在数据获取效率较低的问题。

发明内容

本公开提出了一种获取样本的方法及装置、电子设备和存储介质。

根据本公开的第一方面，提供了一种获取样本的方法，所述方法包括：

对数据集中的多个数据块进行打乱，每个数据块包括多个样本；

将打乱后的所述多个数据块划分为多个处理批次；

对同一处理批次中的多个样本进行打乱，得到各处理批次对应的样本获取顺序；

针对任一处理批次，按照对应的样本获取顺序，获取样本。

结合第一方面，在一种可能的实现方式中，在所述获取样本之前，所述方法还包括：

从分布式系统获取所述样本所属数据块并缓存至本地。

这样，可以减少从分布式系统获取数据块的次数，降低了数据存取开销，提高了读取数据的效率。

结合第一方面，在一种可能的实现方式中，按照对应的样本获取顺序，获取样本，包括：

按照对应的样本获取顺序，分次获取样本，每次获取一个或多个样本，单次获取的多个样本属于同一数据块。

这样，一次从同一个数据块中获取到多个属于同一数据块的样本，从而提高数据获取效率。

结合第一方面，在一种可能的实现方式中，按照对应的样本获取顺序，分次获取样本，包括：

按照对应的样本获取顺序，确定待获取的多个样本中的目标样本，所述目标样本为本次待获取的一个样本；

从本地缓存中读取所述目标样本。

这样，可以减少从分布式系统获取数据块的次数，降低了数据存取开销，提高了读取数据的效率。

结合第一方面，在一种可能的实现方式中，在所述从本地缓存中读取所述目标样本之后，所述方法还包括：

从本地缓存中读取所述待获取的多个样本中与所述目标样本属于同一数据块的样本。

这样，一次从同一个数据块中获取到多个属于同一数据块的样本，从而提高数据获取效率。

结合第一方面，在一种可能的实现方式中，所述从本地缓存中读取所述目标样本，包括：

根据所述目标样本的标识和所述目标样本所属数据块的标识之间的映射关系，在本地缓存中查找所述目标样本对应的目标数据块，并从所述目标数据块中读取所述目标样本。

通过目标样本的标识和所述目标样本所属数据块的标识之间的映射关系，可以快速找到目标样本对应的目标数据块，从而提升数据获取效率。

结合第一方面，在一种可能的实现方式中，所述从本地缓存中读取所述目标样本，包括：