[发明专利]样本获取方法、装置、电子设备及可读存储介质

说明书

本申请实施例提供了一种样本获取方法、装置、电子设备及可读存储介质，应用于互联网技术领域，所述方法包括：根据预先建立的标签树，确定预设标签在标签树中的层级，标签树是对训练集中每个数据携带的标签进行分类得到的；按照标签树从上到下的顺序，对样本集进行逐层筛选，使每一层的筛选结果作为下一层筛选的数据源，直至筛选的层级为预设标签在标签树中的层级；在每一层筛选时，计算该层对应的训练数据的平均特征，根据平均特征在该层数据源中选取预设比例的数据，将预设比例的数据作为筛选结果；获取预设标签在标签树中的层级对应的筛选结果。本申请实施例可提高样本获取的准确性。

技术领域

本申请涉及互联网技术领域，特别是涉及一种样本获取方法、装置、电子设备及可读存储介质。

背景技术

近年来，深度学习在视频图像、语音识别、自然语言处理等相关领域得到了广泛应用。卷积神经网络作为深度学习的一个重要分支，由于其超强的拟合能力以及端到端的全局优化能力，使得图像分类任务在应用卷积神经网络之后，预测精度大幅提升。但是，目前大多数的模型都严重依赖大规模的标注数据，也就是标注数据的规模是制约深度学习模型精度的决定性因素。如何获取大规模的标注数据集成为一个亟待解决的问题。

通常采用标注的方式获取标注数据，虽然经过时间的推移可以积累到大量的标注数据，但是如果不对标注数据进行筛选，则会造成标注数据集中不同种类数据严重不均衡。例如，某个视频平台，需要构建一个“动物”的数据集，如果对平台的全部数据进行标注，虽然会产生大量标注数据，但是，“泰迪”、“哈士奇”等常见的动物会大量存在，而像“藏獒”这种少见的动物相对出现较少，这样就会造成标注数据的不均衡。在使用不均衡的样本集训练模型时，由于少量样本在标注数据集中较少，因此，模型对少量样本的识别能力较差，获取少量样本的准确性较低。

发明内容

本申请实施例的目的在于提供一种样本获取方法、装置、电子设备及可读存储介质，以提高样本获取的准确性。具体技术方案如下：

根据本申请实施例的第一方面，本申请实施例提供了一种样本获取方法，所述方法包括：

根据预先建立的标签树，确定预设标签在所述标签树中的层级，所述标签树是对训练集中每个数据携带的标签进行分类得到的；

按照所述标签树从上到下的顺序，对样本集进行逐层筛选，使每一层的筛选结果作为下一层筛选的数据源，直至筛选的层级为所述预设标签在所述标签树中的层级；

在每一层筛选时，计算该层对应的训练数据的平均特征，根据所述平均特征在该层数据源中选取预设比例的数据，将所述预设比例的数据作为筛选结果，每层对应的训练数据是所述训练集中属于该层标签的数据；

获取所述预设标签在所述标签树中的层级对应的筛选结果。

可选的，所述标签树的建立方法包括：

针对所述训练集中的每个数据，按照该数据携带的标签所属的类别对该数据进行层级分类，得到该数据的层级标签，且所述层级标签中下一层标签属于上一层标签；

将所述训练集中所有数据的层级标签进行组合，得到所述标签树。

可选的，所述根据所述平均特征在该层数据源中选取预设比例的数据，包括：

提取该层数据源中每个数据的特征，计算每个数据的特征与所述平均特征的距离；

对得到的距离按照从小到大的顺序，在该层数据源中选取对应的数据，直至在该层数据源中选取的数据的比例达到所述预设比例。

可选的，所述计算该层对应的训练数据的平均特征，包括：

将该层对应的训练数据中的每个数据进行向量表示，得到每个数据的特征向量；

求解所述特征向量的平均值，得到该层对应的训练数据的平均特征向量。