[发明专利]一种针对样本集的信息去冗余方法

说明书

本发明提供一种针对样本集的信息去冗余方法，所述方法包括：获取待处理样本及对应的可训练标签，得到原始待处理样本集；基于预训练的机器学习模型对每条样本进行特征抽取，得到原始样本集的特征向量集合；输入特征向量集合至可学习的样本选择器模型，对特征向量集合进行样本挑选，根据预设阈值获取有代表性的特征向量子集；获取特征向量子集对应的原始样本作为去除冗余信息后的子样本集合。本发明技术方案，可以对原始样本集合进行高效精简，去除冗余信息而保留有价值信息的样本，可以提升算法在样本集上的训练效率。

技术领域

本发明涉及数据处理技术领域，特别是涉及针对样本集的信息去冗余方法。

背景技术

随着深度学习技术的发展，基于大规模数据集的机器学习方法不断被提出来。然而，在实际中，大规模数据集中往往存在大量的信息数据冗余，例如，单类别样本规模过量、重复或近似样本等；另外一方面，大规模数据集使得机器学习模型的训练过程需要更多的计算力和计算时间，耗费大量资源。因此，面对不同场景下的大规模训练任务，例如，超大规模的计算视觉分类任务往往使用数千万图像样本进行训练、亦或超大规模的自然语言处理任务往往使用数亿条语言样本进行训练，那么基于针对样本集的信息去冗余方法显得愈发迫切。考虑到数据集规模庞大、样本之间关系复杂、基于pair的样本比较分析依赖计算力庞大，目前并无可直接使用的技术方案应对大规模数据集的信息去冗余。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种针对样本集的信息去冗余方法，以实现数据集的信息去冗余。

本发明具体采用的技术方案如下：

一种针对样本集的信息去冗余方法，该方法包括：

获取待处理样本及对应的可训练标签，得到原始样本集；

通过预先准备的特征提取模型，对获取的每条原始样本进行特征抽取，得到原始样本集的特征向量集合。

通过预先准备的可学习的样本选择器模型，对特征向量集合进行样本挑选，根据预设阈值获取有代表性的特征向量子集；

获取特征向量子集对应的原始样本作为去除冗余信息后的子样本集合。

优选的，预先准备所述特征提取模型的步骤包括：

获取待处理样本集合，记为第一样本集合，并获取上述样本对应的可训练标签；

将所述第一样本集合中的样本及对应标签输入到预设第一机器学习模型中进行训练，得到预设的第一模型，即预先准备的特征提取模型；其中，所述预设第一机器学习模型包括特征提取部分和模型约束收敛部分；所述特征提取部分用于获取样本的特征向量，得到原始样本集的特征向量集合，记为第二样本集合，所述模型约束收敛部分用于控制特征提取模型的正常训练直至收敛。

优选的，通过样本选择器模型对特征向量集合进行样本挑选的步骤包括：

获取第二样本集合，并获取其中特征向量对应的原始样本的训练标签作为可训练标签；将第二样本集合输入至样本选择器模型中，根据第一预设阈值得到有代表性的特征向量子集及对应的可训练标签，记为第三样本集合；

所述样本选择器模型包括一个神经网络和一个激活函数，当样本输入样本选择器模型后得到的激活值大于第一预设阈值时，被视为有代表性。

优选的，所述样本选择器模型通过教师-学生模型结构进行学习优化，当整个训练过程的收敛指标达到第二预设阈值时停止训练，得到样本选择器。

优选的，确定所述教师-学生模型的步骤包括：

将所述第二样本集合及集合中样本对应标签输入到预设第二机器学习模型中进行训练，得到教师模型，称为第二模型；其中，所述第二机器学习模型包括特征提取部分和Loss约束部分，其中特征提取部分用于获取样本的高层抽象特征，Loss约束部分用于对教师模型进行优化而实现训练；