[发明专利]一种清洗数据的方法和装置

摘要

本申请公开一种清洗数据的方法和装置，在对数据清洗的过程中，先挑出待清洗数据中大概率确定为正确的数据和错误的数据，中间有一些比较难以确认的数据再进行筛选，再挑选出正样本和负样本，从而大幅度减少人工，通过这种方式挑选出来的正样本和负样本的准确率很高，通过迁移学习和自动设置阈值的方法，可以快速而且可靠的对数据进行清洗。

主权项

1.一种清洗数据的方法，其特征在于，包括：对多类数据进行清洗得到正确数据和错误数据；对所述正确数据进行训练，得到训练之后的第一训练模型；对某一待清洗数据先进行去重和以相似度阈值进行去相似度得到第一剩余待清洗数据；按照指定的规则从所述第一剩余待清洗数据挑选出至少一个正样本、至少一个负样本和第二剩余待清洗数据；对所述至少一个正样本和所述至少一个负样本使用所述第一训练模型做迁移学习得到第二训练模型；根据所述第二训练模型确定第一阈值和第二阈值，其中，所述第一阈值和所述第二阈值用于对数据被判断为正负样本的置信度而设置的，所述第一阈值小于所述第二阈值，所述第一阈值为根据负样本的预设准确度计算所得，所述第二阈值为根据正样本的预设准确度计算所得；使用所述第二训练模型、所述第一阈值和所述第二阈值将所述第二剩余待清洗数据分为正样本、待人工清洗、负样本三个类别，其中，所述第二待清洗数据中置信度大于所述第二阈值的数据判断为正样本类数据，置信度小于所述第一阈值的数据判断为负样本类数据，置信度在所述第一阈值和所述第二阈值之间的数据成判断为待人工清洗类数据。