[发明专利]用于机器学习的去偏差数据集

说明书

本公开提供“用于机器学习的去偏差数据集”。一种计算机包括处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：接收图像的数据集；从所述图像中提取特征数据；基于所述特征数据优化所述图像被分类成的聚类簇的数量；针对每个聚类簇，优化所述聚类簇中的所述图像被分类成的子聚类簇的数量；基于聚类簇的所述数量、子聚类簇的所述数量、相应聚类簇之间的距离以及相应子聚类簇之间的距离来确定指示所述数据集向所述聚类簇或子聚类簇中的至少一者的偏差的度量；以及在确定所述度量之后，使用由所述聚类簇和所述子聚类簇构建的训练集来训练机器学习程序。

相关申请的交叉引用

本申请要求于2021年8月19日提交的美国临时专利申请第63/234,763号的优先权，所述申请据此通过引用整体并入本文。

技术领域

本公开涉及用于机器学习的去偏差数据集。

背景技术

机器学习中的数据偏差是一种误差，其中数据集的某些要素的权重和/或表示比其他要素更重。有偏差的数据集不能准确地表示模型的用例，从而导致可能的结果歪斜、低准确度水平和分析误差。

发明内容

根据本发明，提供了一种计算机，所述计算机具有处理器和存储器，所述存储器存储可由所述处理器执行以进行以下操作的指令：接收图像的数据集；从所述图像中提取特征数据；基于所述特征数据优化所述图像被分类成的聚类簇的数量；针对每个聚类簇，优化所述聚类簇中的所述图像被分类成的子聚类簇的数量；基于聚类簇的所述数量、子聚类簇的所述数量、相应聚类簇之间的距离以及相应子聚类簇之间的距离来确定指示所述数据集向所述聚类簇或子聚类簇中的至少一者的偏差的度量；以及在确定所述度量之后，使用由所述聚类簇和所述子聚类簇构建的训练集来训练机器学习程序。

根据一个实施例，所述指令还包括用于降低特征数据的维数的指令。

根据一个实施例，优化聚类簇的所述数量是基于降低所述维数之后的所述特征数据。

根据一个实施例，所述指令还包括用于在降低特征数据的维数之后将特征数据映射到有限数量的维度的指令。

根据一个实施例，维度的所述有限数量是二。

根据一个实施例，降低所述特征数据的所述维数包括执行主成分分析。

根据一个实施例，所述主成分分析产生主成分矩阵，并且所述指令还包括用于将所述主成分矩阵映射到有限数量的维度的指令。

根据一个实施例，所述机器学习程序是第二机器学习程序，并且提取所述特征数据包括执行第一机器学习程序。

根据一个实施例，所述第一机器学习程序被训练为识别图像中的对象，并且所述特征数据从所述第一机器学习程序的中间层输出。

根据一个实施例，优化聚类簇的所述数量是基于所述图像的轮廓分数。

根据一个实施例，优化聚类簇的所述数量包括针对聚类簇的所述数量的多个值执行k均值聚类，确定针对所述值中的每一个的所述轮廓分数，以及基于所述轮廓分数选择所述值中的一个。

根据一个实施例，所述相应聚类簇之间的所述距离是所述相应聚类簇的质心之间的距离，并且所述相应子聚类簇之间的所述距离是所述相应子聚类簇的质心之间的距离。

根据一个实施例，所述指令还包括用于进行以下操作的指令：针对每个聚类簇，确定所述聚类簇中的每对所述图像之间的感知相似性分数；并且针对每个聚类簇，优化所述聚类簇中的子聚类簇的所述数量是基于所述聚类簇的所述感知相似性分数。

根据一个实施例，所述指令还包括用于进行以下操作的指令：针对每个聚类簇，降低所述聚类簇的所述感知相似性分数的维数；并且针对每个聚类簇，优化所述聚类簇中的子聚类簇的所述数量是基于降低所述维数之后的所述聚类簇的所述感知相似性分数。