[发明专利]一种多数据源日志数据集中收集存储方法及装置

权利要求书

1.一种多数据源日志数据集中收集存储方法，其特征在于：所述方法包括如下步骤：

步骤S1、在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；

步骤S2、日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；

步骤S3、在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。

2.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S2还包括：

在对原始的日志数据进行处理时，日志处理系统对新日志数据中的日志内容属性进行扫描，并自动匹配告警规则，且根据告警规则触发日志预警系统发送警报内容进行告警；所述警报内容包括应用服务器IP、日志别名、日志路径以及日志内容。

3.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S1具体为：

在各应用服务器上安装日志收集系统客户端，并对日志收集系统的配置文件进行参数配置，配置的参数至少包括本机IP地址、日志文件路径、日志多行合并、收集规则、日志处理系统的地址以及日志间隔时间；

运行日志收集系统的应用程序，应用程序读取配置文件，并检查配置文件是否正确，如果否，则停止应用程序的运行，并发送提示消息给日志收集系统客户端；如果是，则按照配置文件中配置的收集规则扫描对应的日志文件，并将扫描到的日志数据实时发送给日志处理系统。

4.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述日志存储系统上设置有一个本地服务器节点以及至少一个服务器从节点；

所述步骤S2具体包括：

步骤S21、日志处理系统在接收到日志数据后，将原始的日志数据复制一份给日志存储系统，日志存储系统将原始的日志数据保存至本地服务器节点上，同时将原始的日志数据同步给各服务器从节点；

步骤S22、日志处理系统对原始的日志数据进行属性提取，按照设定的属性合并规则来合并新日志数据，并根据设置的分类类型来对新日志数据进行分类；其中，提取的属性包括应用服务器IP、日志别名、日志路径、日志类型、服务器名称、日志内容、日志级别或者自定义属性；

步骤S23、将处理后的新日志数据发送给日志存储系统，日志存储系统将新日志数据保存至本地服务器节点上，同时将新日志数据同步给各服务器从节点。

5.根据权利要求1所述的一种多数据源日志数据集中收集存储方法，其特征在于：所述步骤S3具体为：

日志展示系统对存储在日志存储系统中的新日志数据进行扫描，并根据用户在日志展示系统的界面中设定的检索规则来建立日志索引，以从日志存储系统获取到对应的日志数据；

日志展示系统根据不同的属性来对获取的日志数据进行展示，或者日志展示系统通过引入第三方的IP库来对日志的用户行为进行统计和展示。

6.一种多数据源日志数据集中收集存储装置，其特征在于：所述装置包括日志收集模块、日志处理模块以及日志展示模块；

所述日志收集模块，用于在各应用服务器上安装日志收集系统客户端，通过日志收集系统客户端收集各应用服务器的日志数据并发送给日志处理系统；

所述日志处理模块，用于日志处理系统在接收到日志数据后，先将原始的日志数据复制一份到日志存储系统中进行保存；再对原始的日志数据进行筛选、切割、分类以及合并处理，并将处理后的新日志数据保存到日志存储系统中；

所述日志展示模块，用于在日志展示系统中建立日志索引，并根据日志索引从日志存储系统中获取日志数据进行展示。