[发明专利]产品检测数据集的相似度计算方法及装置

说明书

本申请揭示了一种产品检测数据集的相似度计算方法及装置，该方法包括根据每个缺陷在不同特征维度上的权重，计算每个缺陷在两个数据集之间的相似度K’；根据每个缺陷的相似度K’以及每个缺陷的数量占比，计算得到两个数据集之间的相似度K1；计算各个缺陷在两个数据集中数量的两个向量之间的余弦相似度，将余弦相似度与相似度K1相乘，得到两个数据集之间的相似度K2；对相似度K2进行归一化处理，得到两个数据集之间最终的相似度K。本申请采用基于缺陷各个特征维度的权重方式计算数据集的相似度，可以快速获取两个数据集的相似度，以便使用相似度较高的数据集的历史参数配置，来设定用于训练的数据集的初始参数配置，提高了模型的训练效率。

技术领域

本申请属于产品检测技术领域，涉及一种工业互联网中产品检测数据集的相似度计算方法及装置。

背景技术

基于人工智能的产品表面缺陷检测解决方案，在标注团队对所拍摄的图片进行缺陷标注后，通常需要将具有相关性的图片归到一组数据集，以供智能检测模型训练使用。

目前的模型训练方式通常是将数据集输入至模型，对模型进行训练，得到相关参数的配置信息。当需要训练的模型比较多时，由于每个模型的训练都因从零开始训练导致需要较长的时间，因此训练效率比较低。

发明内容

为了解决相关技术模型的训练效率比较低的问题，本申请提供了一种产品检测数据集的相似度计算方法及装置，技术方案如下：

第一方面，本申请提供了一种产品检测数据集的相似度计算方法，所述方法包括：

根据每个缺陷在不同特征维度上的权重，计算每个缺陷在两个数据集之间的相似度K’；

根据每个缺陷的相似度K’以及每个缺陷的数量占比，计算得到两个数据集之间的相似度K1，所述相似度K1用于刻画每个缺陷的数量占比对两个数据集相似度的贡献；

计算各个缺陷在两个数据集中数量的两个向量之间的余弦相似度，将余弦相似度与所述相似度K1相乘，得到两个数据集之间的相似度K2，所述余弦相似度用于刻画缺陷数量的结构占比，所述相似度K2用于刻画每个缺陷的数量的结构占比对两个数据集相似度的贡献；

对所述相似度K2进行归一化处理，将所述相似度K2映射到[0,1]之间，得到两个数据集之间最终的相似度K。

可选地，所述根据每个缺陷在不同特征维度上的权重，计算每个缺陷在两个数据集之间的相似度K’，包括：

对于每个缺陷，在两个数据集中分别提取所述缺陷的特征值[f_i1,f_i2,f_i3,f_i4,f_i5,...f_in]，其中f_ij表示所述缺陷在第i个数据集在j维度上的特征值，n为缺陷的特征维度的总数量；

根据所述缺陷在两个数据集的特征值以及每个特征维度的权重，计算所述缺陷在两个数据集之间的相似度K’，其中，每个特征维度的权重为[w₁,w₂,w₃,w₄,w₅,...,w_n]，K’=v₁*w₁+v₂*w₂+v₃*w₃+v₄*w₄+v₅*w₅+...+v_n*w_n，v_j表示当前缺陷第j维度上的特征值在两个数据集间的相似度，且v_j数值在[0,1]区间，v_j=f_1j/f_2j。

可选地，所述根据每个缺陷的相似度K’以及每个缺陷的数量占比，计算得到两个数据集之间的相似度K1，包括：

获取每个缺陷在所述两个数据集中的数量；