[发明专利]异常数据挖掘方法、装置、设备及介质

说明书

本申请公开了一种异常数据挖掘方法、装置、设备及介质，包括：采集第一待检测数据、第一待检测数据的元数据以及与第一待检测数据相关的日志数据，从日志数据中剔除满足预设无效条件的无效数据，获得目标日志数据；确定出第一待检测数据的第一异常数据，在第一待检测数据中剔除第一异常数据，获得第二待检测数据，将第二待检测数据进行聚类，以获得多个聚类簇，并计算出每个聚类簇的中心数据，基于中心数据及其对应的聚类簇中的第二待检测数据之间的第一距离确定出离群点候选数据；将满足预设异常条件的离群点候选数据确定为第二异常数据，然后将第一异常数据和第二异常数据作为目标异常数据。实现适应性高、成本低且效率高的异常数据挖掘。

技术领域

本发明涉及数据质量管理技术领域，特别涉及一种异常数据挖掘方法、装置、设备及介质。

背景技术

数据质量是数据管理工作中非常重要的一项工作内容，数据质量治理水平深刻的影响着海量数据资产的可用性。在目前开展异常数据挖掘时，常规的挖掘模式大多是基于业务规范要求，通过设定数据质量稽核的规则，代入异常数据的预告警阈值标准，通过建立定期、在线的数据质量监测任务来进行异常数据的挖掘，该种模式有针对性强、挖掘准确率高的优势，在面临有重点专题的数据质量问题挖掘时有着比较高的可用性，但同时也因为依赖业务规范要求而存在适应性差、人工成本高、需要随时调整固定的阈值等很多较为致命的问题。

综上可见，如何实现适应性高、成本低且效率高的异常数据挖掘是本领域有待解决的问题。

发明内容

有鉴于此，本发明的目的在于提供一种异常数据挖掘方法、装置、设备及介质，能够实现适应性高、成本低且效率高的异常数据挖掘。其具体方案如下：

第一方面，本申请公开了一种异常数据挖掘方法，包括：

采集第一待检测数据、所述第一待检测数据的元数据以及与所述第一待检测数据相关的日志数据，并从所述日志数据中剔除满足预设无效条件的无效数据，以获得目标日志数据；

基于所述第一待检测数据、所述元数据和所述目标日志数据确定出所述第一待检测数据的第一异常数据，并在所述第一待检测数据中剔除所述第一异常数据，以获得第二待检测数据；

基于预设聚类算法将所述第二待检测数据进行聚类，以获得多个聚类簇，并计算出每个所述聚类簇的中心数据，然后基于所述中心数据及其对应的所述聚类簇中的第二待检测数据之间的第一距离确定出离群点候选数据；

计算出所述离群点候选数据的离群因子值，并将所述离群因子值满足预设异常条件的所述离群点候选数据确定为第二异常数据，然后将所述第一异常数据和所述第二异常数据作为目标异常数据。

可选的，所述从所述日志数据中剔除满足预设无效条件的无效数据，以获得目标日志数据，包括：

对所述日志数据进行解析，以获得各个子数据；

将满足预设无效条件的所述子数据作为无效数据，并从所述日志数据中剔除所述无效数据，以获得目标日志数据。

可选的，所述基于所述第一待检测数据、所述元数据和所述目标日志数据确定出所述第一待检测数据的第一异常数据，包括：

基于所述第一待检测数据、所述元数据和所述目标日志数据，利用预设指标规则确定出所述第一待检测数据的第一异常数据；其中所述预设指标规则包括统计指标和业务规则。

可选的，所述基于预设聚类算法将所述第二待检测数据进行聚类之前，还包括：

获取数据中台中与所述第二待检测数据对应的数据标签信息，并基于所述数据标签信息和所述元数据，对所述第二待检测数据的字段对象进行识别，以确定出所述第二待检测数据对应的数据类型；

提取所述第二待检测数据的字段特征以获得数据特征向量，以便基于所述数据类型、所述数据特征向量和预设聚类算法将所述第二待检测数据进行聚类。