[发明专利]一种数据检测方法及装置

说明书

本发明涉及一种数据检测方法及装置，该方法包括：获取待检测的待上线数据；对所述待上线数据进行数据处理，以筛查出具有质量隐患的数据。本发明提供的技术方案，通过获取待检测的待上线数据，对所述待上线数据进行数据处理，以筛查出具有质量隐患的数据，从而实现了数据质量的自动化检测，有效减少了现有技术中人工检测带来的误差，提高了检测准确率；同时，由于不需要人工参与，降低了检测成本，提高了检测效率，降低了劳动强度，提升了人工效率，用户体验度好、满意度高。

技术领域

本发明涉及数据检测技术领域，具体涉及一种数据检测方法及装置。

背景技术

数据分析是指用适当的统计分析方法对收集来的大量数据进行分析，提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

在实用中，数据分析可帮助人们作出判断，以便采取适当行动。底层的数据质量是产品层风险预警准确与否的决定性基础，如果出现问题或延迟，就会出现客户因错误数据导致决策错误甚至承担经济损失的问题发生。但由于企业信息更新，企业申请流程更改，各地数据标准不一致等原因，数据随着这些变动长期下来，脏数据越积越多。

传统的技术手段是通过人工观察数据、提取规则、确定有质量问题的数据范围，找到依据填补和订正错误的数据，不仅耗费大量的人力和时间，而且在数据质量监控的广阔性和深度层次上，都处于较为初级的状态。传统的技术手段常常是以大量的工作经验以及业务逻辑为基础，而对于那些以企业为中心提供数据和服务的征信公司，数据的准确性、完整性、时效性、数据储存、数据清洗、数据处理、数据分析皆为其关注的要点，对数据质量、广阔性都有具体的要求和更深层探索性的需求。所以现有技术中，企业数据日渐庞大，有限的人力、时间和高质量的数据质量需求的矛盾日益突出。

发明内容

有鉴于此，本发明的目的在于克服现有技术的不足，提供一种数据检测方法及装置，以解决现有技术中人工数据质量检查，人力投入大、效率低的问题。

为实现以上目的，本发明采用如下技术方案：

一种数据检测方法，包括：

获取待检测的待上线数据；

对所述待上线数据进行数据处理，以筛查出具有质量隐患的数据。

优选地，所述对所述待上线数据进行数据处理，包括：

对数据的基础字段进行合规检验，对于不合规的数据进行清洗，以清除错误的字段值。

优选地，所述对不合规的数据进行清洗，包括：

通过正态分布图和箱线图进行离散点异常值的检查，以锁定不合规的数据；

将不合规数据进行格式转换，或者，数据清除。

优选地，所述对所述待上线数据进行数据处理，还包括：

对数据清洗后的数据进行指标化处理；

根据指标化数据的共性，利用预设算法，对缺失值进行填补。

优选地，所述预设算法，包括以下项中的至少一项：

K最邻分类算法、决策树算法、逻辑回归算法。

优选地，所述对所述待上线数据进行数据处理，还包括：

计算填补的缺失值与同类数据的拟合度，若拟合度达到阈值以上，则保留该缺失值，否则重新填补该缺失值。

优选地，所述对所述待上线数据进行数据处理，还包括：

利用逻辑回归训练函数，优化填补的缺失值。

优选地，所述对所述待上线数据进行数据处理，还包括：