[发明专利]训练数据集的生成方法及装置、电子设备、存储介质

说明书

本申请提供了一种训练数据集的生成方法及装置、电子设备、存储介质，该方法包括：获取已分类的源数据集以及未分类的目标数据集；通过特征提取器提取源数据集的第一特征向量集以及目标数据集的第二特征向量集；根据第一特征向量集确定源数据集对应的类中心特征向量、根据第二特征向量集确定目标数据集的聚类标签和聚类簇内平均特征向量；通过迭代优化特征提取器，使源数据集中样本的特征向量与类中心特征向量之间，以及，聚类簇内元素的特征向量与聚类簇内平均特征向量之间的总体差异最小；根据目标数据集的聚类标签以及聚类簇内元素，获得训练数据集。该方法可以降低人工标注的工作量，降低人工标注成本，提高标注精度。

技术领域

本申请涉及数据处理技术领域，特别涉及一种训练数据集的生成方法 及装置、电子设备、计算机可读存储介质。

背景技术

在零售场景进行商品分类识别中，经常性需要面对不同产品线的包装 差异化、产品包装的快速迭代更新，以及图像采集过程中的图片特征差异 化、产品种类数量巨大、部分类别数据冗余等问题；因此，在开始进行一 个新项目时，很难通过少量的数据和快速简洁的算法对分类模型训练数据 进行准备工作，而需要人工进行大量数据的分类标注工作来形成初始训练 集；那么，如何对海量的无标注数据进行预划分，并提高局部采样质量，降低人工标注的初始数据量，而快速形成初始训练集提升后续数据收集的 效率，是目前工作中一个非常重要且亟待解决的问题。

目前，对图像分类数据的准备，主要通过对采集的全样本图片进行人 工分类标注，但是一次性需要处理的数据量可能非常巨大，全人工标注往 往会造成标注精度不高、标注成本高，而影响后续模型的迭代优化。

发明内容

本申请实施例提供了一种训练数据集的生成方法，用于实现自动分类 标注，降低人工标注成本，提高标注精度。

本申请实施例提供了一种训练数据集的生成方法，所述方法包括：

获取已分类的源数据集以及未分类的目标数据集；

通过特征提取器提取所述源数据集的第一特征向量集以及所述目标数 据集的第二特征向量集；

根据所述第一特征向量集确定所述源数据集对应的类中心特征向量、 根据所述第二特征向量集确定所述目标数据集的聚类标签和聚类簇内平均 特征向量；

通过迭代优化所述特征提取器，使所述源数据集中样本的特征向量与 所述类中心特征向量之间，以及，聚类簇内元素的特征向量与聚类簇内平 均特征向量之间的总体差异最小；

根据所述目标数据集的聚类标签以及聚类簇内元素，获得训练数据集。

在一实施例中，所述通过特征提取器提取所述源数据集的第一特征向 量集以及所述目标数据集的第二特征向量集，包括：

通过特征提取器提取所述源数据集中每个样本的特征向量，得到所述 第一特征向量集；

通过特征提取器提取所述目标数据集中每个元素的特征向量，得到所 述第二特征向量集。

在一实施例中，所述根据所述第一特征向量集确定所述源数据集对应 的类中心特征向量，包括：

计算所述第一特征向量集中多个样本的特征向量的均值，得到所述源 数据集对应的类中心特征向量。

在一实施例中，所述根据所述第二特征向量集确定所述目标数据集的 聚类标签和聚类簇内平均特征向量，包括：

利用聚类算法，对所述第二特征向量集进行聚类划分，获得聚类簇；

根据所述聚类簇内每个元素的特征向量，确定所述聚类簇的聚类标签 以及聚类簇内平均特征向量；

在一实施例中，对所述第二特征向量集进行聚类划分之后，所述方法 还包括：

获取未聚类的孤立点集；