[发明专利]一种云日志管理方法

说明书

本发明提供了一种云日志管理方法，包括以下步骤：S1、前端获取实时日志；S2、数据库中filebeat组件将日志动态推送到消息组件；S3、日志服务模块连接数据库对日志进行备份；S4、日志服务模块连接数据库对日志进行清理；S5、用户通过http api，在对象存储模块查询、删除、上传日志。本发明所述的方法，可动态实现多种数据库的日志的实时查看；方便、快捷查看备份的日志；方法分析了以下几个开源组件，作为系统的组成部分。filebeat轻量化的日志采集组件，可在服务器上安装，实现日志的持续收集和发送。kafka一种高吞吐量的分布式发布订阅消息系统，能够持久性和容错性的存储日志流，可以解决日志收集的速度和处理的速度不一致问题。

技术领域

本发明属于信息技术领域，尤其是涉及一种云日志管理方法。

背景技术

在一个信息系统里，日志有着至关重要的作用，日志可以记录系统的所有行为，可以通过这些行为分析系统的使用情况，进而可以分析可优化的方向。特别是系统使用中出现的异常信息等，通过这些信息可以及时提醒相关维护人员做出响应。

通常每种数据库都有自己类型的日志，如错误日志、运行日志、慢日志等。若要备份和存储日志，需要对每种数据库单独开发程序，过程繁琐并且耗时。

当数据库运行时间较长，日志较大时，不仅有造成磁盘被占满的风险，同时在用户检索方面，也不是很方便。

传统日志备份方法是将日志存储到主机，此种方法，使用、查看日志并不是很便捷。

发明内容

有鉴于此，本发明旨在提出一种云日志管理方法，为了方便、快速、自动的收集日志，为了实现系统各种日志的自动收集和实时查询分析，为实现各种数据库系统日志的备份和存储，为了方便、快捷查看备份的日志，避免日志过大造成的影响，采用对象存储方法。

为达到上述目的，本发明的技术方案是这样实现的：

一种云日志管理方法，包括以下步骤：

S1、前端获取实时日志；

S2、数据库中filebeat组件将日志动态推送到消息组件；

S3、日志服务模块连接数据库对日志进行备份；

S4、日志服务模块连接数据库对日志进行清理；

S5、用户通过http api，在对象存储模块查询、删除、上传日志。

进一步的，所述步骤S1中前端获取实施日志过程如下，前端发出请求数据库信息，日志服务模块返回数据库信息，前端根据数据库信息连接kafka模块，监听日志，从而获取实时日志。

进一步的，所述步骤S2中消息组件为kafka模块，用于接收消息，kafka模块收到消息后存储到topic主题中，用户读取topic内的消息。

进一步的，所述数据库信息包括，数据的类型、状态。

进一步的，所述步骤S3与S4中的日志服务模块连接数据库过程如下，日志服务模块从数据库资源池获取所有数据库信息，根据数据库信息连接数据库。

进一步的，所述步骤S3中的日志备份过程如下，通过命令将日志传送到对象存储模块，实现日志备份。

进一步的，所述步骤S4中的日志清理过程如下，通过命令获取对象存储上该数据库的历史日志，根据设定的日志保存时间，定时清理无效日志。

相对于现有技术，本发明所述的一种云日志管理方法具有以下优势：

(1)本发明所述的方法，可动态实现多种数据库的日志的实时查看；方便、快捷查看备份的日志。