[发明专利]分布式日志数据处理方法、装置及系统

权利要求书

1.一种分布式日志数据处理方法，其特征在于，所述方法包括：

接收分布式系统中各应用节点发送的日志数据，并根据预设属性标识将所述日志数据保存至对应的临时数据库中；

根据所述属性标识从对应的所述临时数据库中获取所述日志数据，并对所述日志数据进行数据清洗，将经过所述数据清洗后的日志数据发送至预设日志管理中心。

2.根据权利要求1所述的分布式日志数据处理方法，其特征在于，所述对所述日志数据进行数据清洗，包括：

确定所述日志数据中的组件特征信息，其中，所述组件特征信息是所述各应用节点发送所述日志数据时使用的日志采集器生成的；

从所述日志数据中去除所述组件特征信息，得到去除所述组件特征信息后的日志数据。

3.根据权利要求1所述的分布式日志数据处理方法，其特征在于，所述对所述日志数据进行数据清洗，包括：

判断所述日志数据中是否包含有与预设噪声字段匹配的噪声数据；

若包含，则从所述日志数据中去除所述噪声数据，得到去除所述噪声数据后的日志数据。

4.根据权利要求1所述的分布式日志数据处理方法，其特征在于，在所述对所述日志数据进行数据清洗之前，还包括：

根据所述日志数据中的业务标识，对具有相同所述业务标识的多个所述日志数据进行日志合并处理，得到经过日志合并处理后的日志数据。

5.一种分布式日志数据处理装置，其特征在于，包括：

日志数据通道建立模块，用于接收分布式系统中各应用节点发送的日志数据，并根据预设属性标识将所述日志数据保存至对应的临时数据库中；

日志数据前置清洗模块，用于根据所述属性标识从对应的所述临时数据库中获取所述日志数据，并对所述日志数据进行数据清洗，将经过所述数据清洗后的日志数据发送至预设日志管理中心。

6.根据权利要求5所述的分布式日志数据处理装置，其特征在于，所述日志数据前置清洗模块包括：

组件特征信息确定单元，用于确定所述日志数据中的组件特征信息，其中，所述组件特征信息是所述各应用节点发送所述日志数据时使用的日志采集器生成的；

组件特征信息清洗单元，用于从所述日志数据中去除所述组件特征信息，得到去除所述组件特征信息后的日志数据。

7.根据权利要求5所述的分布式日志数据处理装置，其特征在于，所述日志数据前置清洗模块包括：

噪声字段匹配单元，用于判断所述日志数据中是否包含有与预设噪声字段匹配的噪声数据；

噪声数据清洗单元，用于若判断所述日志数据中包含有与预设噪声字段匹配的噪声数据，则从所述日志数据中去除所述噪声数据，得到去除所述噪声数据后的日志数据。

8.根据权利要求5所述的分布式日志数据处理装置，其特征在于，还包括：

日志数据合并单元，用于根据所述日志数据中的业务标识，对具有相同所述业务标识的多个所述日志数据进行日志合并处理，得到经过日志合并处理后的日志数据。

9.一种分布式日志数据处理系统，其特征在于，包括分布式系统中的各应用节点、日志前置处理节点以及日志管理中心；

所述日志前置处理节点包括：

日志数据通道建立模块，用于接收所述分布式系统中各应用节点发送的日志数据，并根据预设属性标识将所述日志数据保存至对应的临时数据库中；

日志数据前置清洗模块，用于根据所述属性标识从对应的所述临时数据库中获取所述日志数据，并对所述日志数据进行数据清洗，将经过所述数据清洗后的日志数据发送至所述日志管理中心。

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至4任一项所述的分布式日志数据处理方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至4任一项所述的分布式日志数据处理方法的步骤。