[发明专利]数据去重方法、装置、计算机设备和计算机可读存储介质

权利要求书

1.一种数据去重方法，其特征在于，包括：

获取预处理后的日志数据，所述日志数据携带有去重标识；所述去重标识基于预设压缩规则以及预设时间戳提取规则对所述日志数据进行预处理得到；所述预设压缩规则至少包括哈希算法；

解析所述日志数据，并提取所述日志数据对应的去重标识；

判断所述去重标识是否存储在数据库中；

若所述去重标识存储在所述数据库中，则基于所述去重标识清除获取到的日志数据，或者，基于所述去重标识清除所述数据库中的日志数据。

2.根据权利要求1所述的方法，其特征在于，在所述判断所述去重标识是否存储在数据库中之后，所述方法还包括：

若所述去重标识未存储在所述数据库中，则将所述去重标识及其对应的日志数据存储至所述数据库中。

3.根据权利要求1所述的方法，其特征在于，在所述获取预处理后的日志数据之前，所述方法还包括：

获取日志数据，并基于所述预设压缩规则获取所述日志数据对应的压缩参数；

基于所述预设时间戳提取规则获取所述日志数据对应的时间戳；

根据所述压缩参数和所述时间戳，生成所述日志数据对应的去重标识；

将所述去重标识添加至所述日志数据中，得到预处理后的日志数据。

4.根据权利要求3所述的方法，其特征在于，所述基于所述预设压缩规则获取所述日志数据对应的压缩参数包括：

基于所述哈希算法获取所述日志数据对应的哈希值，并将所述哈希值作为所述压缩参数。

5.根据权利要求3所述的方法，其特征在于，所述基于所述预设时间戳提取规则获取所述日志数据对应的时间戳包括：

获取所述日志数据的数据格式，并基于所述数据格式确定目标数据解析规则；

基于所述目标数据解析规则解析所述日志数据，并获取所述日志数据对应的时间戳。

6.根据权利要求5所述的方法，其特征在于，所述日志数据的数据格式为JSON数据格式，所述基于所述目标数据解析规则解析所述日志数据，并获取所述日志数据对应的时间戳包括：

基于所述JSON数据格式对应的数据解析规则解析所述日志数据，并获取所述日志数据的键值对数据结构；

从所述键值对数据结构中提取所述时间戳。

7.根据权利要求6所述的方法，其特征在于，所述将所述去重标识添加至所述日志数据中，得到预处理后的日志数据包括：

将所述去重标识添加至所述日志数据的键值对数据结构中，得到预处理后的日志数据。

8.一种数据去重装置，其特征在于，包括：

日志获取模块，用于获取预处理后的日志数据，所述日志数据携带有去重标识；所述去重标识基于预设压缩规则以及预设时间戳提取规则对所述日志数据进行预处理得到；所述预设压缩规则至少包括哈希算法；

标识提取模块，用于解析所述日志数据，并提取所述日志数据对应的去重标识；

标识判断模块，用于判断所述去重标识是否存储在数据库中；

日志清除模块，用于若所述去重标识存储在所述数据库中，则清除所述去重标识对应的日志数据。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的数据去重方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的数据去重方法。