[发明专利]异常数据挖掘方法、装置、设备及介质

权利要求书

1.一种异常数据挖掘方法，其特征在于，包括：

采集第一待检测数据、所述第一待检测数据的元数据以及与所述第一待检测数据相关的日志数据，并从所述日志数据中剔除满足预设无效条件的无效数据，以获得目标日志数据；

基于所述第一待检测数据、所述元数据和所述目标日志数据确定出所述第一待检测数据的第一异常数据，并在所述第一待检测数据中剔除所述第一异常数据，以获得第二待检测数据；

基于预设聚类算法将所述第二待检测数据进行聚类，以获得多个聚类簇，并计算出每个所述聚类簇的中心数据，然后基于所述中心数据及其对应的所述聚类簇中的第二待检测数据之间的第一距离确定出离群点候选数据；

计算出所述离群点候选数据的离群因子值，并将所述离群因子值满足预设异常条件的所述离群点候选数据确定为第二异常数据，然后将所述第一异常数据和所述第二异常数据作为目标异常数据。

2.根据权利要求1所述的异常数据挖掘方法，其特征在于，所述从所述日志数据中剔除满足预设无效条件的无效数据，以获得目标日志数据，包括：

对所述日志数据进行解析，以获得各个子数据；

将满足预设无效条件的所述子数据作为无效数据，并从所述日志数据中剔除所述无效数据，以获得目标日志数据。

3.根据权利要求1所述的异常数据挖掘方法，其特征在于，所述基于所述第一待检测数据、所述元数据和所述目标日志数据确定出所述第一待检测数据的第一异常数据，包括：

基于所述第一待检测数据、所述元数据和所述目标日志数据，利用预设指标规则确定出所述第一待检测数据的第一异常数据；其中所述预设指标规则包括统计指标和业务规则。

4.根据权利要求1所述的异常数据挖掘方法，其特征在于，所述基于预设聚类算法将所述第二待检测数据进行聚类之前，还包括：

获取数据中台中与所述第二待检测数据对应的数据标签信息，并基于所述数据标签信息和所述元数据，对所述第二待检测数据的字段对象进行识别，以确定出所述第二待检测数据对应的数据类型；

提取所述第二待检测数据的字段特征以获得数据特征向量，以便基于所述数据类型、所述数据特征向量和预设聚类算法将所述第二待检测数据进行聚类。

5.根据权利要求1所述的异常数据挖掘方法，其特征在于，所述计算出每个所述聚类簇的中心数据，然后基于所述中心数据及其对应的所述聚类簇中的第二待检测数据之间的第一距离确定出离群点候选数据，包括：

计算出每个所述聚类簇的中心数据以及所述聚类簇的目标半径，并判断所述聚类簇中的第二待检测数据与所述中心数据之间的第一距离是否不小于所述目标半径；

当所述聚类簇中的第二待检测数据与所述中心数据之间的第一距离不小于所述目标半径时，则将所述聚类簇中的第二待检测数据确定为离群点候选数据。

6.根据权利要求5所述的异常数据挖掘方法，其特征在于，计算出任一个所述聚类簇的中心数据以及所述聚类簇的目标半径，包括：

计算出所述聚类簇的中心数据；

确定出所述聚类簇中所有第二待检测数据与所述中心数据的平均距离，并将所述平均距离作为所述聚类簇的目标半径。

7.根据权利要求1至6任一项所述的异常数据挖掘方法，其特征在于，所述计算出所述离群点候选数据的离群因子值，并将所述离群因子值满足预设异常条件的所述离群点候选数据确定为第二异常数据，包括：

计算出所述离群点候选数据的可达距离，并基于所述可达距离确定出局部可达密度；

利用所述局部可达密度计算出离群因子值，将所述离群因子值满足预设异常条件的所述离群点候选数据确定为第二异常数据。