[发明专利]基于大数据的数据质量自动检测系统

权利要求书

1.一种基于大数据的数据质量自动检测系统，其特征在于，包括第一数据库、处理器和存储有计算机程序的存储器，所述第一数据库用于存储用户数据，所述系统还包括第二数据库，所述第二数据库为离线数据库，用于以拉链表的形式存储所述第一数据库中的历史用户数据；

当所述计算机程序被处理器执行时，实现以下步骤：

步骤S1、根据所述第一数据库的数据调用情况构建日志文件；

步骤S2、实时采集所述日志文件，并从所述日志文件中解析出数据调用信息，所述数据调用信息包括用户id、数据调用时间和基于所述用户id和数据调用时间从所述第一数据库调取的第一用户属性信息；

步骤S3、每间隔预设的时间基于所述第一用户属性信息获取至少一个预设的特征参数，基于所述至少一个特征参数以及预设的特征参数阈值判断调取数据是否异常；

所述步骤S3之前还包括步骤S30、通过所述数据调用信息中的用户id和数据调用时间检索所述拉链表，从所述拉链表中获取用户id和数据调用时间实际对应的第二用户属性信息，基于所述第二用户属性信息设置所述特征参数阈值。

2.根据权利要求1所述的系统，其特征在于，所述步骤S2包括：

步骤S21、实时监测所述日志文件的偏移量，基于所述日志文件的偏移量采集所述日志文件中新增的日志信息，并从所述新增的日志信息中解析出数据调用信息。

3.根据权利要求1所述的系统，其特征在于，所述步骤S2包括：

当所述计算机程序被处理器执行时，还实现以步骤S10、构建所述拉链表，具体包括：

步骤S101、若所述第一数据库中新增一个用户属性信息，则在所述拉链表中新增一条记录，所述记录包括用户id、开始时间、结束时间和用户属性信息，所述开始时间设置为新增该用户属性信息的时间，结束时间设置为无穷大；

步骤S102、当所述记录的用户属性信息发生变化时，则获取用户属性信息发生变化的变更时间点，将该条记录的结束时间更新为所述变更时间点，并新增一条记录，将新增记录的开始时间设置为所述变更时间点，结束时间设为无限大，用户属性信息设置为变化后的用户属性信息；

步骤S103、将所述第一数据库中的每个用户属性信息依步骤S101-步骤S102执行，构建所述拉链表。

4.根据权利要求1所述的系统，其特征在于，

所述预设的特征参数为命中率，特征参数阈值为命中率阈值，所述步骤S3包括：

步骤S311、每间隔预设的时间统计所述第一用户属性信息的命中率；

步骤S312、将所述命中率与所述命中率阈值相比较，若连续M个预设的时间的命中率低于所述命中率阈值，则发送数据异常指令。

5.根据权利要求1所述的系统，其特征在于，

所述预设的特征参数为波动值，特征参数阈值为波动阈值，所述步骤S3包括：

步骤S321、每间隔预设的时间统计所述第一用户属性信息的饱和度；

步骤S322、判断连续N个预设时间的第一用户属性信息的饱和度是否呈下降趋势，若是，则获取连续N个预设时间的第一用户属性信息的饱和度的波动值，并将所述波动值与所述波动阈值比较，若所述波动值大于所述波动阈值，则发送数据异常指令。

6.根据权利要求1所述的系统，其特征在于，

所述预设时间为5s。