[发明专利]一种日志处理方法、系统、装置、客户端及存储介质

权利要求书

1.一种日志处理方法，其特征在于，应用于日志处理客户端，包括：

基于中间件获取变更操作日志，其中，所述变更操作日志是日志获取服务端在基于所述中间件监听到预先设置的关系型数据库的二进制日志进行日志变更时发送的相应的日志；

根据所述变更操作日志中各消息体的类型从所述变更操作日志中筛选出隶属于同一事务的目标消息体，对所述目标消息体进行处理，并将处理结果存储于日志数据库中，所述处理结果包括变更操作前的数据和变更操作后的数据。

2.根据权利要求1所述的方法，其特征在于，所述关系型数据库中各表的表信息封装在common包中且所述common包配置在所述日志处理客户端中，所述表信息包括表名，所述对所述目标消息体进行处理，包括：

从各所述表名中筛选出与所述目标消息体对应的目标表名，并基于所述common包中记录的所述目标表名对应的处理策略对所述目标消息体进行处理。

3.根据权利要求1所述的方法，其特征在于，所述日志数据库包括Hbase，所述将处理结果存储于日志数据库中，包括：

根据处理结果确定行键计算因素，并根据所述行键计算因素计算出行键，将所述处理结果存储在Hbase中与所述行键相应的存储区间中；

其中，所述行键计算因素包括所述目标消息体的表类型、表主键、操作时间戳和操作版本号中的至少一个。

4.根据权利要求3所述的方法，其特征在于，在所述根据所述行键计算因素计算出行键之后，还包括：

重新计算所述行键的哈希值，并根据计算结果更新所述行键。

5.根据权利要求1所述的方法，其特征在于，还包括：

从分布式服务中读取操作时间，将所述操作时间和当前时间进行比较，并反馈比较结果，其中，所述操作时间是接入至所述分布式服务中的所述日志获取服务端从所述变更操作日志中获取到后写入所述分布式服务中的时间。

6.一种日志处理系统，其特征在于，包括：日志数据库、及配置有中间件的日志处理客户端和日志获取服务端，其中，所述日志处理客户端，用于执行权利要求1-5中任一项所述的日志处理方法。

7.根据权利要求6所述的系统，其特征在于，还包括：

日志搜索服务端，用于根据接收到的用户输入的搜索条件在所述日志数据库中进行搜索，并将搜索到的与所述搜索条件匹配的目标数据进行返回。

8.根据权利要求7所述的系统，其特征在于，所述日志数据库包括Hbase；

所述日志搜索服务端，具体用于根据接收到的用户输入的搜索条件计算出行键，并将Hbase中与所述行键相应的存储区间中的目标数据进行返回。

9.根据权利要求8所述的系统，其特征在于，所述搜索条件包括关键字，所述关系型数据库中各表的表信息封装在common包中且所述common包配置在所述日志搜索服务端中，所述表信息包括所述表的各属性信息间的映射关系；

所述日志搜索服务端，还用于根据所述关键字和所述映射关系对所述目标数据进行筛选，并根据筛选结果更新所述目标数据。

10.一种日志处理装置，其特征在于，配置于日志处理客户端，包括：

日志获取模块，用于基于中间件获取变更操作日志，其中，所述变更操作日志是日志获取服务端在基于所述中间件监听到预先设置的关系型数据库的二进制日志进行日志变更时发送的相应的日志；

日志处理模块，用于根据所述变更操作日志中各消息体的类型从所述变更操作日志中筛选出隶属于同一事务的目标消息体，对所述目标消息体进行处理，并将处理结果存储于日志数据库中，其中，所述处理结果包括变更操作前的数据和变更操作后的数据。