[发明专利]基于大数据的数据质量自动检测系统

说明书

本发明涉及一种基于大数据的数据质量自动检测系统，包括第一数据库、处理器和存储有计算机程序的存储器，所述第一数据库用于存储用户数据，当所述计算机程序被处理器执行时，实现步骤S1、根据所述第一数据库的数据调用情况构建日志文件；步骤S2、实时采集所述日志文件，并从所述日志文件中解析出数据调用信息，数据调用信息包括用户id、数据调用时间和基于所述用户id和数据调用时间从所述第一数据库调取的第一用户属性信息；步骤S3、每间隔预设的时间基于所述第一用户属性信息获取至少一个预设的特征参数，基于所述至少一个特征参数以及预设的特征参数阈值判断调取数据是否异常。本发明能够快速、准确地检测出数据调用过程中的数据异常情况。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于大数据的数据质量自动检测系统。

背景技术

随着大数据时代的到来，海量的数据存储在数据库中，根据数据调用指令，通过API接口可以调用数据库中的数据来使用，但是，在数据调用的过程中存在诸多不稳定的因素，例如调用程序出错等，会导致出现调用数据错位、调用数据字段错误等等异常情况，导致数据质量下降，如不及时检测出数据异常的情况，将影响所调用数据的后续处理，也可能会导致后续调用数据时持续出错，因此，如何对数据质量进行及时检测，成为亟待解决的技术问题。

发明内容

本发明目的在于，提供一种基于大数据的数据质量自动检测系统，能够快速、准确地检测出数据调用过程中的数据异常情况。

根据本发明第一方面，提供了一种基于大数据的数据质量自动检测系统，包括第一数据库、处理器和存储有计算机程序的存储器，所述第一数据库用于存储用户数据，当所述计算机程序被处理器执行时，实现以下步骤：

步骤S1、根据所述第一数据库的数据调用情况构建日志文件；

步骤S2、实时采集所述日志文件，并从所述日志文件中解析出数据调用信息，所述数据调用信息包括用户id、数据调用时间和基于所述用户id和数据调用时间从所述第一数据库调取的第一用户属性信息；

步骤S3、每间隔预设的时间基于所述第一用户属性信息获取至少一个预设的特征参数，基于所述至少一个特征参数以及预设的特征参数阈值判断调取数据是否异常。

本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案，本发明提供的一种基于大数据的数据质量自动检测系统可达到相当的技术进步性及实用性，并具有产业上的广泛利用价值，其至少具有下列优点：

本发明能够快速、准确地检测出数据调用过程中的数据异常情况，提升了用户体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其他目的、特征和优点能够更明显易懂，以下特举较佳实施例，并配合附图,详细说明如下。

附图说明

图1为本发明实施例提供的基于大数据的数据质量自动检测系统示意图。

具体实施方式

为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例，对依据本发明提出的一种基于大数据的数据质量自动检测系统的具体实施方式及其功效，详细说明如后。

本发明实施例提供了一种基于大数据的数据质量自动检测系统，如图1所示，包括第一数据库、处理器和存储有计算机程序的存储器，所述第一数据库用于存储海量的用户数据，当所述计算机程序被处理器执行时，实现以下步骤：

步骤S1、根据所述第一数据库的数据调用情况构建日志文件；

其中，可通过在第一数据库设置应用程序接口(Application ProgramInterface，简称API)调用第一数据库中的数据，每一条数据调用信息均被记录在日志文件中。