[发明专利]数据集构建方法、装置以及电子设备

说明书

本申请实施例公开了一种数据集构建方法、装置以及电子设备。所述方法包括：获取待处理的数据样本；将满足同一预设相关系数的数据样本划分到同一个示例包，以得到多个示例包；基于预先设置的划分参数，将所述多个示例包划分为多个子集；基于所述多个子集构建数据集。通过上述方式使得，满足同一预设相关系数的数据样本划分到同一个示例包，以得到多个示例包，从而使得基于多个示例包得到的数据集中的样本也存在相关关系，提高了数据集中样本信息的可挖掘性，进而提高了数据集对应的训练任务的准确性。

技术领域

本申请涉及计算机技术领域，更具体地，涉及一种数据集构建方法、装置以及电子设备。

背景技术

深度学习在图像、文本、语音等领域已经得到了广泛应用，由于深度学习的优越性能与深度学习所需的数据样本样本息息相关，越来越多人开始关注对深度学习所需的数据样本进行划分的方法。在相关方式中，可以使用数据抽样的方法将数据样本划分为训练集、验证集和测试集，但相关方式未考虑到数据样本之间的相关性。

发明内容

鉴于上述问题，本申请提出了一种数据集构建方法、装置以及电子设备，以实现改善上述问题。

第一方面，本申请提供了一种数据集构建方法，所述方法包括：获取待处理的数据样本；将满足同一预设相关关系的数据样本划分到同一个示例包，以得到多个示例包；基于预先设置的划分参数，将所述多个示例包划分为多个子集；基于所述多个子集构建数据集。

第二方面，本申请提供了一种数据集构建装置，所述装置包括：数据样本获取单元，用于获取待处理的数据样本；示例包获取单元，用于将满足同一预设相关系数的数据样本划分到同一个示例包，以得到多个示例包；子集划分单元，用于基于预先设置的划分参数，将所述多个示例包划分为多个子集；数据集构建单元，用于基于所述多个子集构建数据集。

第三方面，本申请提供了一种电子设备，包括一个或多个处理器以及存储器；一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述的方法。

第四方面，本申请提供的一种计算机可读存储介质，所述计算机可读存储介质中存储有程序代码，其中，在所述程序代码运行时执行上述的方法。

本申请提供的一种数据集构建方法、装置、电子设备以及存储介质，在获取待处理的数据样本后，将满足同一预设相关关系的数据样本划分到同一个示例包，以得到多个示例包，基于预先设置的划分参数，将所述多个示例包划分为多个子集，基于所述多个子集构建数据集。通过上述方式使得，满足同一预设相关系数的数据样本划分到同一个示例包，以得到多个示例包，从而使得基于多个示例包得到的数据集中的样本也存在相关关系，提高了数据集中样本信息的可挖掘性，进而提高了数据集对应的训练任务的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请实施例提出的一种数据集构建方法的流程图；

图2示出了本申请另一实施例提出的一种数据集构建方法的流程图；

图3示出了本申请提出的数据集构建方法的基本流程示意图；

图4示出了本申请实施例提出的一种数据集构建装置的结构框图；

图5示出了本申请提出的一种电子设备的结构框图；

图6是本申请实施例的用于保存或者携带实现根据本申请实施例的数据集构建方法的程序代码的存储单元。

具体实施方式