[发明专利]商品数据清洗方法及其装置、设备、介质、产品

权利要求书

1.一种商品数据清洗方法，其特征在于，包括如下步骤：

确定商品数据集，所述商品数据集包括多个携带原始分类标签的商品数据，所述商品数据被划分为训练集和数据集；

采用经所述训练集训练的分类器对所述测试集中的商品数据的深层语义信息进行分类，获得各个商品数据相对应的预测分类标签；

根据商品数据的预测分类标签与原始分类标签之间的误差信息，确定存在错误预测最多的预定数量的多个原始分类标签，从所述训练集中提取该些原始分类标签下的商品数据作为待清洗数据集；

对待清洗数据集中的商品数据进行聚类，从训练集中删除聚类结果与原始分类标签不一致的商品数据，获得由剩余商品数据构成的净化训练集。

2.根据权利要求1所述的商品数据清洗方法，其特征在于，采用经所述训练集训练的分类器对所述测试集中的商品数据的深层语义信息进行分类，获得各个商品数据相对应的预测分类标签，包括如下步骤：

采用特征提取模型获取所述测试集中的商品数据的深层语义信息，所述深层语义信息包含所述商品数据的文本特征信息和/或图片特征信息；

采用分类器计算所述深层语义信息映射到各个所述的原始分类标签相对应的分类概率，以确定该深层语义信息相应的商品数据所属的预测分类标签，所述预测分类标签为该商品数据的分类概率最大的原始分类标签。

3.根据权利要求2所述的商品数据清洗方法，其特征在于，采用特征提取模型获取所述测试集中的商品数据的深层语义信息，所述深层语义信息包含所述商品数据的文本特征信息和/或图片特征信息，包括如下步骤：

采用第一特征提取模型对所述测试集中的商品数据的商品标题进行深层语义信息提取，获得相应的文本特征信息；

采用第二特征提取模型对所述测试集中的商品数据的商品图片进行深层语义信息提取，获得相应的图片特征信息；

将相同商品数据的所述文本特征信息与图片特征信息拼接为表示该商品数据的深层语义信息的图文特征信息。

4.根据权利要求1所述的商品数据清洗方法，其特征在于，根据商品数据的预测分类标签与原始分类标签之间的误差信息，确定存在错误预测最多的预定数量的多个原始分类标签，从所述训练集中提取该些原始分类标签下的商品数据作为待清洗数据集，包括如下步骤：

根据所述测试集中的商品数据的预测分类标签与其原始分类标签统计出混淆矩阵，混淆矩阵中的每个元素用于表征原始分类标签相对应的商品数据被预测为某个预测分类标签的统计数量；

从所述混淆矩阵内原始分类标签与预测分类标签不一致的元素中，针对其中统计数量最大的预定数量的多个目标元素，确定该些目标元素相对应的原始分类标签；

从所述训练集中提取出携带所述目标元素相对应的原始分类标签的商品数据构成待清洗数据集。

5.根据权利要求1所述的商品数据清洗方法，其特征在于，对待清洗数据集中的商品数据进行聚类，从训练集中删除聚类结果与原始分类标签不一致的商品数据，获得由剩余商品数据构成的净化训练集，包括如下步骤：

采用预设聚类算法，根据所述待清洗数据集中的商品数据的深层语义信息进行聚类，获得聚类所得的多个商品数据簇；

统计每个商品数据簇中商品数据所拥有的最大数量的原始分类标签，将该商品数据簇中未携带该最大数量的原始分类标签的商品数据删除以实现对该商品数据簇的数据清洗；

确定净化训练集，该净化训练集包括各个已完成数据清洗的所述商品数据簇中的商品数据。

6.根据权利要求1至5中任意一项所述的商品数据清洗方法，其特征在于，对待清洗数据集中的商品数据进行聚类，从训练集中删除聚类结果与原始分类标签不一致的商品数据，获得由剩余商品数据构成的净化训练集的步骤之后，包括如下步骤：

采用所述净化训练集作为新的训练集对所述分类器进行训练；

在该分类器完成训练后，自所述采用经所述训练集训练的分类器对所述测试集中的商品数据的深层语义信息进行分类的步骤开始循环执行本方法；

其中，在所述确定存在错误预测最多的预定数量的多个原始分类标签的步骤中，所述预定数量被重新设定。