[发明专利]一种用户行为数据质量的实时检测方法及存储介质

权利要求书

1.一种用户行为数据质量的实时检测方法，其特征在于，包括如下步骤：

从日志数据提取用户行为数据；

通过流式处理所述用户行为数据，以实现实时监测用户行为数据并得到实时数据流；

根据数据库设置的数据质量评估规则与训练数据异常深层模型，依次对实时数据流的精确性、逻辑一致性以及数据异常深层进行检验，其中，

对所述实时数据流的精确性进行检验时，若实时数据流的精确性未能通过所述数据质量评估规则的检验，则得到数据异常报告，反之，则继续对实时数据流的逻辑一致性进行评估检验；

若实时数据流的逻辑一致性未能通过数据质量评估规则的检验，则得到数据异常报告，反之，则继续对实时数据流的数据异常深层进行评估检验；

若实时数据流的数据异常深层未能通过训练数据异常深层模型的检验，则得到数据异常报告，反之，则将实时数据流将上传至数据库进行保存。

2.根据权利要求1所述的用户行为数据质量的实时检测方法，其特征在于，对实时数据流的精确性进行检验时的约束条件包括主键非空约束、数据类型约束、数据格式约束、数据精度约束以及值域范围约束。

3.根据权利要求2所述的用户行为数据质量的实时检测方法，其特征在于，所述逻辑一致性的数据逻辑依赖关系包括离散型数据与连续型数据，其中，所述离散型数据通过建立规则，以正则表达式对数据的频率和模式进行评估，所述连续型数据则通过MAD算法，以反映出每个数据点与均值之间的距离。

4.根据权利要求1至3任一所述的用户行为数据质量的实时检测方法，其特征在于，所述训练数据异常深层是通过DBSCAN聚类算法与分类算法对异常的数据进行划分，以检测出异常数据的类别。

5.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序被一个或者多个处理器执行时，能实现如权利要求1～4中任一项所述的用户行为数据质量的实时检测方法的步骤。