[发明专利]样本评估方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种样本评估方法、装置、设备及计算机可读存储介质，该方法包括：基于预设历史样本集合和预设比例，确定检测样本集合和待检测样本；从所述检测样本集合中随机选取目标样本，基于预设核函数和所述目标样本，计算所述待检测样本的新颖度；基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度；基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本。本发明通过检测样本集合预设核函数和预设重构度测试函数，计算得到可以衡量待检测样本是否为高价值样本的新颖度和可重构度，有效筛选出高价值样本，减少低价值的相似性样本的采集。

技术领域

本发明涉及数据处理领域，尤其涉及样本评估方法、装置、设备及计算机可读存储介质。

背景技术

在模型训练阶段，样本集合对模型训练的效果来说至关重要，若模型集合中存在一定量的相似性样本，则会导致样本的不平衡度增高，从而致使模型训练的效率降低，因此，如何降低相似性样本的采集量便成为了亟待解决的技术问题，而现有的样本采集方法包括随机采样、周期性采样、基于规则采样、主动采样以及移动窗采样等，这些方法都无法有效降低采集到的相似性样本的数量。

发明内容

本发明的主要目的在于提供一种样本评估方法、装置、设备及计算机可读存储介质，旨在解决现有技术方案无法通过降低相似性样本的采集数量而提高模型训练效率的技术问题。

此外，为实现上述目的，本发明还提供一种样本评估方法，所述样本评估方法包括以下步骤：

基于预设历史样本集合和预设比例，确定检测样本集合和待检测样本；

从所述检测样本集合中随机选取目标样本，基于预设核函数和所述目标样本，计算所述待检测样本的新颖度；

基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度；

基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本。

可选地，所述基于预设核函数和所述目标样本，计算所述待检测样本的新颖度的步骤包括：

将所述待检测样本和所述目标样本输入预设核函数，得到新颖度；

更换所述目标样本，并循环所述将所述待检测样本和所述目标样本输入预设核函数，得到新颖度的步骤，得到多个新颖度；

将所述多个新颖度中的极值作为所述待检测样本的新颖度。

可选地，所述基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度的步骤包括：

将所述待检测样本和所述目标样本输入包含预设测试模型的预设重构度测试函数，得到所述待检测样本的可重构度。

可选地，所述基于预设重构度测试函数和所述目标样本，计算所述待检测样本的可重构度的步骤之后，包括：

基于第一预设检验函数、第二预设检验函数和所述检测样本集合，确定新颖度上限值和可重构度上限值；

若所述待检测样本的新颖度大于所述新颖度上限值，且所述待检测样本的可重构度大于所述可重构度上限值，则执行所述基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本的步骤。

可选地，所述基于所述待检测样本的新颖度和可重构度，确定所述待检测样本是否为高价值样本的步骤包括：

基于所述待检测样本的新颖度和可重构度，计算所述待检测样本的样本价值度；

若所述样本价值度大于第一预设阈值，则确定所述待检测样本是高价值样本；

若所述样本价值度小于或等于第一预设阈值，则确定所述待检测样本不是高价值样本。