[发明专利]异常数据检测方法、装置、设备及存储介质

说明书

本申请公开了异常数据检测方法、装置、设备及存储介质，涉及运维技术领域，方法包括：获取待处理日志，待处理日志为字符类型的数据文件；对待处理日志进行切片，得到第一片段集合，第一片段集合包括多个序列片段；将第一片段集合进行数据变换，得到第二片段集合，所述第二片段集合包括多个第二序列片段，第二序列片段由第一序列片段经过数据变换得到，第二序列片段为数字类型；对第二片段集合进行聚类分析，得到异常数据并输出。本方案能够实现对字符型序列的数值化，以及根据概率样本分布自动进行聚类，且无需基于人工经验介入的超参数，由此能够避免因经验差异和偶然性导致的算法效果的差异，且可操作性强，易于移植到任何新场景中。

技术领域

本申请涉及运维技术领域，尤其涉及一种异常数据检测方法、装置、设备及存储介质。

背景技术

日志文件通常用于检测分布式系统中的异常操作行为。运维人员经常使用关键字搜索和规则匹配来手动检查日志，随着分布式系统的规模和复杂性不断增加，日志量暴增，继续依赖运维人员进行人工检查日志中的异常的效率较低，已无法适应规模和复杂性不断增加的分布式系统。

目前主要采用监督学习和非监督学习来减少人工检测的工作量。在监督学习方面，主要有逻辑回归、决策树、SVM等方法，但由于监督学习需要在建立模型之前为样本打标，而日志异常片段在实际工作中出现次数非常少，以少量打标样本建立的模型极其容易导致过拟合，且监督学习不能对新出现异常片段样本进行识别。在非监督学习方面，主要有聚类、PCA、invariantsmining等方法，但非监督学习仍然依赖于经验和偶然性才能将字符型变量转换为数字型变量、以及设置超参数。

发明内容

本申请实施例提供了一种异常数据检测方法、装置、设备及存储介质，旨在解决现有技术中基于非监督学习检测日志中的异常操作行为时需要依赖于经验和偶然性才能将字符型变量转换为数字型变量、以及设置超参数的问题。

第一方面，本申请实施例提供了一种异常数据检测方法，其包括：

获取待处理日志，所述待处理日志为字符类型的数据文件；

对所述待处理日志进行切片，得到第一片段集合，所述第一片段集合包括多个序列片段；

将所述第一片段集合进行数据变换，得到第二片段集合，所述第二片段集合包括多个第二序列片段，第二序列片段由第一序列片段经过数据变换得到，第二序列片段为数字类型；

对所述第二片段集合进行聚类分析，得到异常数据并输出。

第二方面，本申请实施例提供了一种异常数据检测装置，其包括：

获取模块，用于获取待处理日志，所述待处理日志为字符类型的数据文件；

处理模块，用于对所述待处理日志进行切片，得到第一片段集合，所述第一片段集合包括多个序列片段；将所述第一片段集合进行数据变换，得到第二片段集合，所述第二片段集合包括多个第二序列片段，第二序列片段由第一序列片段经过数据变换得到，第二序列片段为数字类型；

所述处理模块还用于对所述第二片段集合进行聚类分析，得到异常数据并输出。

第三方面，本申请实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的异常数据检测方法。

第四方面，本申请实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的异常数据检测方法。