[发明专利]日志异常检测方法及装置

权利要求书

1.一种日志异常检测方法，其特征在于，所述方法包括：

获取日志的多个日志分片，所述多个日志分片中的每个日志分片包括所述日志中的多行日志记录；所述多个日志分片中不同的日志分片的至少一行日志记录不同；

确定所述多个日志分片中的每两个日志分片之间的距离；

基于所述多个日志分片中的每两个日志分片之间的距离，确定所述多个日志分片中是否存在异常的日志分片。

2.根据权利要求1所述的方法，其特征在于，所述确定所述多个日志分片中的每两个日志分片之间的距离，包括：

基于所述多个日志分片中的每个日志分片的局部敏感哈希码，确定所述多个日志分片中的每两个日志分片之间的距离。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

基于所述多个日志分片中的每个日志分片的多个词条，确定所述多个日志分片中的每个日志分片的局部敏感哈希码。

4.根据权利要求3所述的方法，其特征在于，所述基于所述多个日志分片中的每个日志分片的多个词条，确定所述多个日志分片中的每个日志分片的局部敏感哈希码，包括：

将所述每个日志分片的多个词条进行去重处理得到词条集合；

基于所述每个日志分片对应的词条集合，确定所述每个日志分片的局部敏感哈希码。

5.根据权利要求4所述的方法，其特征在于，所述基于所述每个日志分片对应的词条集合，确定所述每个日志分片的局部敏感哈希码，包括：

计算所述每个日志分片对应的词条集合中所有词条的哈希码之和；

对所述每个日志分片对应的哈希码之和进行降维处理，得到所述每个日志分片的局部敏感哈希码。

6.根据权利要求1至5任一所述的方法，其特征在于，所述基于所述多个日志分片中的每两个日志分片之间的距离，确定所述多个日志分片中是否存在异常的日志分片，包括：

基于所述多个日志分片中的每两个日志分片之间的距离，确定所述多个日志分片中的每个日志分片的K-距离，所述多个日志分片中任一日志分片的K-距离为所述多个日志分片中距离所述任一日志分片第K近的日志分片与所述任一日志分片之间的距离，K为正整数，K小于G，所述G为所述多个日志分片的总数；

基于所述多个日志分片中的每个日志分片的K-距离，确定所述多个日志分片中是否存在异常的日志分片。

7.根据权利要求6所述的方法，其特征在于，所述基于所述多个日志分片中的每个日志分片的K-距离，确定所述多个日志分片中是否存在异常的日志分片，包括：

基于所述多个日志分片中每个日志分片的K-距离，确定目标取值范围[μ–3×σ,μ+3×σ]，其中，所述μ为所述多个日志分片的K-距离的均值，所述σ为所述多个日志分片的K-距离的标准差，当所述多个日志分片中任一日志分片的K-距离不在所述目标取值范围[μ–3×σ,μ+3×σ]内时，确定所述任一日志分片为异常的日志分片；

或者，确定第一日志分片对应的目标取值范围[mu–3×sigma,mu+3×sigma]，其中，所述第一日志分片为所述多个日志分片中的任一日志分片，所述mu为所述多个日志分片中除所述第一日志分片之外的日志分片的K-距离的均值，所述sigma为所述多个日志分片中除所述第一日志分片之外的日志分片的K-距离的标准差，当所述第一日志分片的K-距离不在所述目标取值范围[mu–3×sigma,mu+3×sigma]内时，确定所述第一日志分片为异常的日志分片；

或者，确定所述多个日志分片中每个日志分片对应的熵值，其中，任一日志分片对应的熵值为所述多个日志分片在移除所述任一日志分片后，剩余日志分片的K-距离的熵值，当获取的熵值中最大的熵值与最小的熵值的差值大于指定差值阈值时，将与所述最大的熵值对应的日志分片确定为异常的日志分片。

8.根据权利要求1至7任一所述的方法，其特征在于，不同所述日志分片包括相同行数的的日志记录；或者，不同所述日志分片包括相同数据量的日志记录。