[发明专利]异常数据检测方法、装置、设备及存储介质

权利要求书

1.一种异常数据检测方法，其特征在于，所述方法包括：

获取待处理日志，所述待处理日志为字符类型的数据文件；

对所述待处理日志进行切片，得到第一片段集合，所述第一片段集合包括多个序列片段；

将所述第一片段集合进行数据变换，得到第二片段集合，所述第二片段集合包括多个第二序列片段，第二序列片段由第一序列片段经过数据变换得到，第二序列片段为数字类型；

对所述第二片段集合进行聚类分析，得到异常数据并输出。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一片段集合进行数据变换，得到第二片段集合，包括：

确定所述第一片段集合中相邻序列片段之间的依赖关系；

将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系，以得到数字类型的所述第二片段集合。

3.根据权利要求1或2所述的方法，其特征在于，所述第二片段集合以概率分布样本的方式呈现；所述对所述第二片段集合进行聚类分析，得到异常数据，包括：

从所述概率分布样本中提取各第二序列片段对应的数据组成特征；

确定与各第二序列片段对应的数据组成特征匹配的至少一种预设异常检测策略；

根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类，以得到所述异常数据。

4.根据权利要求3所述的方法，其特征在于，所述第二片段集合包括多维空间的多个数据点；所述根据至少一种预设异常检测策略对所述概率分布样本进行自动聚类，以得到所述异常数据，包括：

从所述多个数据点中确定目标数据点；

以所述目标数据点为球心，以预设半径绘制一个候选球体；

获取所述多个数据点中所有落入所述目标球体的数据点与所述目标数据点之间的向量；

根据落入所述目标球体的数据点与所述目标数据点之间的向量和得到目标漂移向量；

将所述目标漂移向量设为所述球心，直至得到的目标漂移向量满足预设收敛条件则结束操作；

以收敛得到的目标漂移向量为球心，以所述预设半径绘制一个目标球体；

将所述多个数据点中落入所述目标球体内的所有数据点确定为所述异常数据。

5.根据权利要求3所述的方法，其特征在于，所述方法还包括：

从所述概率分布样本中提取变量特征和时间窗口特征；

基于所述变量特征，对所述第二片段集合中的各第二序列片段的数值型变量取值分别进行异常检测，以及基于所述时间窗口特征，对所述第二片段集合中每个时间窗口内变量特征出现的频率进行异常检测。

6.根据权利要求1所述的方法，其特征在于，所述获取待处理日志之后，所述对所述待处理日志进行切片之前，所述方法还包括：

使用正则表达式确定所述待处理日志中存在属性缺失值的候选数据；

若所述候选数据有多个属性缺失值，则删除所述候选数据。

7.一种异常数据检测装置，其特征在于，所述异常数据检测装置包括：

获取模块，用于获取待处理日志，所述待处理日志为字符类型的数据文件；

处理模块，用于对所述待处理日志进行切片，得到第一片段集合，所述第一片段集合包括多个序列片段；将所述第一片段集合进行数据变换，得到第二片段集合，所述第二片段集合包括多个第二序列片段，第二序列片段由第一序列片段经过数据变换得到，第二序列片段为数字类型；

所述处理模块还用于对所述第二片段集合进行聚类分析，得到异常数据并输出。

8.根据权利要求7所述的装置，其特征在于，所述处理模块具体用于：

确定所述第一片段集合中相邻序列片段之间的依赖关系；

将所述第一片段集合进行向量化并在进行向量化过程中保留所述第一片段集合中相邻序列片段之间的依赖关系，以得到数字类型的所述第二片段集合。