[发明专利]一种离线日志数据处理的方法和装置

权利要求书

1.一种离线日志数据处理的方法，其特征在于，包括：

抽取离线日志数据，并获取离线日志数据的属性信息；

根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合；所述构建的数据集合为根据预设的分类属性构建的；

将所述离线日志数据存入所述目标数据集合。

2.根据权利要求1所述的方法，其特征在于，所述预设的分类属性为时间单元，所述属性信息中至少包括时间信息；

根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合的步骤包括：

根据所述离线日志数据的时间信息，确定当前时间单元数据集合，并确定与当前时间单元数据集合相邻的前一时间单元数据集合；

确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据；

去除所述当前时间单元数据集合中所述重复的日志数据，将该当前时间单元数据集合确定为目标数据集合。

3.根据权利要求2所述的方法，其特征在于，确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据的步骤包括：

确定所述当前时间单元数据集合与前一时间单元数据集合中日志数据的会话标识；

确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识，所述相同的会话标识对应的日志数据为重复的日志数据。

4.根据权利要求3所述的方法，其特征在于，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识的步骤包括：

基于Bloom Filter技术，构建所述当前时间单元数据集合与前一时间单元数据集合的会话标识集合；

根据所述会话标识集合，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识。

5.根据权利要求1所述的方法，其特征在于，所述预设的分类属性为安全级别。

6.一种离线日志数据处理的装置，其特征在于，包括：

数据获取模块，用于抽取离线日志数据，并获取离线日志数据的属性信息；

集合确定模块，用于根据所述离线日志数据的属性信息，从构建的数据集合中确定所述离线日志数据的目标数据集合；所述构建的数据集合为根据预设的分类属性构建的；

存储模块，用于将所述离线日志数据存入所述目标数据集合。

7.根据权利要求6所述的装置，其特征在于，所述集合确定模块还用于，根据预设的时间单元和所述离线日志数据的时间信息，确定当前时间单元数据集合，并确定与当前时间单元数据集合相邻的前一时间单元数据集合；确定所述当前时间单元数据集合与前一时间单元数据集合中重复的日志数据；去除所述当前时间单元数据集合中所述重复的日志数据，将该当前时间单元数据集合确定为目标数据集合；

所述预设的分类属性为时间单元，所述属性信息中至少包括时间信息。

8.根据权利要求7所述的装置，其特征在于，所述集合确定模块还用于，确定所述当前时间单元数据集合与前一时间单元数据集合中日志数据的会话标识；以及，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识，所述相同的会话标识对应的日志数据为重复的日志数据。

9.根据权利要求8所述的装置，其特征在于，所述集合确定模块还用于，基于BloomFilter技术，构建所述当前时间单元数据集合与前一时间单元数据集合的会话标识集合；根据所述会话标识集合，确定所述当前时间单元数据集合与前一时间单元数据集合相同的会话标识。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

11.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-5中任一所述的方法。