[发明专利]一种数据检测方法及装置

权利要求书

1.一种数据检测方法，其特征在于，包括：

获取待检测的待上线数据；

对所述待上线数据进行数据处理，以筛查出具有质量隐患的数据。

2.根据权利要求1所述的方法，其特征在于，所述对所述待上线数据进行数据处理，包括：

对数据的基础字段进行合规检验，对于不合规的数据进行清洗，以清除错误的字段值。

3.根据权利要求2所述的方法，其特征在于，所述对不合规的数据进行清洗，包括：

通过正态分布图和箱线图进行离散点异常值的检查，以锁定不合规的数据；

将不合规数据进行格式转换，或者，数据清除。

4.根据权利要求2所述的方法，其特征在于，所述对所述待上线数据进行数据处理，还包括：

对数据清洗后的数据进行指标化处理；

根据指标化数据的共性，利用预设算法，对缺失值进行填补。

5.根据权利要求4所述的方法，其特征在于，所述预设算法，包括以下项中的至少一项：

K最邻分类算法、决策树算法、逻辑回归算法。

6.根据权利要求4所述的方法，其特征在于，所述对所述待上线数据进行数据处理，还包括：

计算填补的缺失值与同类数据的拟合度，若拟合度达到阈值以上，则保留该缺失值，否则重新填补该缺失值。

7.根据权利要求4所述的方法，其特征在于，所述对所述待上线数据进行数据处理，还包括：

利用逻辑回归训练函数，优化填补的缺失值。

8.根据权利要求6或7所述的方法，其特征在于，所述对所述待上线数据进行数据处理，还包括：

通过决策树算法，确定数据处理后的数据的变化阈值；

检验待上线的数据处理后的数据与线上数据之间的变化量是否超过所述变化阈值，若是，发出报警信息，否则，上线数据处理后的数据。

9.根据权利要求8所述的方法，其特征在于，所述发出报警信息，包括：

邮件发送报警信息，或者，短信发送报警信息。

10.一种数据检测装置，其特征在于，包括：

获取模块，用于获取待检测的待上线数据；

筛查模块，用于对所述待上线数据进行数据处理，以筛查出具有质量隐患的数据。