[发明专利]一种日志管理方法和系统

说明书

本申请公开了一种日志管理方法和系统，其中方法包括：预先在软件系统所在设备上配置Lustre文件系统的挂载点；当软件系统生成日志文件后，通过所在设备上配置的所述挂载点，将所述日志文件写入所述Lustre文件系统的存储节点OST中；当日志服务器接收到用户的日志查看请求后，利用所述日志查看请求指示的待查询日志所属软件系统所在设备S_i的IP地址、所述用户在所述设备S_i上的用户名和密码，进入所述设备S_i，通过所述设备S_i上配置的所述挂载点从所述Lustre文件系统的对应存储节点中获取所述用户需要查看的日志文件并发送给所述用户。采用本发明，可以解决传统日志管理方案中存在的部署复杂、查看时延大以及不利于hadoop平台方便访问等问题。

技术领域

本发明涉及计算机应用技术，特别是涉及一种日志管理方法和系统。

背景技术

目前大部分公司的IT系统都会由多个相互独立的软件系统构成，其中日志管理成为软件运维管理的重点工作，日志能够客观的反应软件系统的真实运行情况，为软件性能调优、故障排查提供有力支撑。随着软件系统的不断增多，日志分散的存储在软件系统所在的计算机内部，管理这些独立的日志变得复杂起来。现在多采用基于分布式技术的日志集中管理方法将日志集中管理起来，从整体上看各个软件系统所产生的日志位于一个统一的逻辑视图中，具有统一的访问入口，而实际上日志数据被分布存储到不同的存储节点上，其具体的实现方法多种多样。

目前日志集中管理有多种被广泛应用的成熟方案，虽然实现各异，但从总体上看如图1所示都是由本地软件系统(产生日志)、本地日志收集组件、日志集中收集存储组件、web查看组件构成。对于日志集中收集存储组件也是应用了分布式存储技术将日志分布的存储在不同存储节点上，但从日志系统整体上看是集中存储的。

在上述现有方案中，软件系统所在的本地操作系统中没有安装分布式文件系统，软件系统所产生的日志存储在本地磁盘，需要通过日志收集组件将其传输到集中存储系统中，这个过程由操作系统之上的应用程序完成，日志收集组件需要配置从哪个源文件读取日志，再发送到哪个日志集中收集存储组件，其中涉及大量配置增加了复杂度，更为复杂的是对于每一个产生日志的软件系统都需要重复上述过程，显然更为复杂。而集中存储组件又多采用分布式存储技术，也需要大量配置。为了减少这种复杂的配置又常常定制开发一个配置工具完成上述配置，开发这样一个配置工具本身又增加了许多开发难度与开发时间。

另外，采用上述日志管理方案，日志收集组件将本地操作系统环境内的日志同步到日志集中存储组件中需要一定的时间，因此，对于用于查看日志文件的web查看组件来讲，需要一定的延迟时间才能看到日志文件。在大数据时代，数据分析变得非常重要，日志中通常包含了用户访问行为等重要信息，对集中存储的日志数据通常会使用hadoop平台进行处理、分析，基于上述日志管理方案，hadoop平台对日志数据处理时，需要先将集中存储组件中的数据复制到hdfs中，然后再对复制到hdfs中的日志数据进行处理，这样既耗费存储空间又增加系统复杂度。

由此可见，现有的日志管理方案存在部署配置复杂以及查看时延大，不方便hadoop平台进行数据处理等问题。

发明内容

有鉴于此，本发明的主要目的在于提供一种日志管理方法和系统，可以解决传统日志管理方案中存在的部署复杂、查看时延大以及不利于hadoop平台方便访问等问题。

为了达到上述目的，本发明提出的技术方案为：

一种日志管理方法，包括：

预先在软件系统所在设备上配置Lustre文件系统的挂载点；

当软件系统生成日志文件后，通过所在设备上配置的所述挂载点，将所述日志文件写入所述Lustre文件系统的存储节点OST中；