[发明专利]一种简化软件系统日志查询与分析的方法及系统

说明书

本发明公开了一种简化软件系统日志查询与分析的系统，包括日志采集模块、日志接收与分析模块、数据存储模块、查询展示控制台模块，还包括日志采集插件和日志分析插件，本系统可以自动采集并分析存储自定义日志内容。还公开了一种简化软件系统日志查询与分析的方法，利用异步日志采集技术采集软件系统日志并进行分析和存储，解决了运维过程中系统日志查询、分析操作复杂的问题，且通过对日志采集器采集到的数据进行智能分析和可视化的展示，有效地解决软件系统的传统日志查询和分析方式操作复杂、安全性低的问题，为软件系统的运维提供支持。

技术领域

本发明涉及软件监控运维领域，具体涉及在生产环境中一种简化对软件系统日志进行查询和分析的方法和系统。

背景技术

日志文件是用于记录系统操作事件的文件集合，可分为事件日志和消息日志，日志有处理历史数据、诊断问题的追踪以及理解系统的活动等重要作用。在计算机中，日志文件是记录在操作系统或其他软件运行中发生的事件或在通信软件的不同用户之间的消息的文件。许多操作系统，软件框架和程序包括日志系统。一般日志的作用有记录错误、性能分析、查看服务间的调用关系、记录时间等等。系统日志是记录系统中硬件、软件和系统问题的信息，同时还可以监视系统中发生的事件，用户可以通过它来检查错误发生的原因，或者寻找受到攻击时攻击者留下的痕迹。系统日志包括系统日志、应用程序日志和安全日志。应用程序日志：记录应用程序或一般程序的事件；安全性日志：可以记录例如有效和无效的登录尝试等安全事件，以及与资源使用有关的事件，例如创建、打开或删除文件以及有关设置的修改；系统日志：包含由linux系统组件记录的事件，例如，在系统日志中记录启动期间要加载的驱动程序或其他系统组件的故障。软件日志主要关注的就是，软件所在的位置、什么等级、软件输出什么信息、时间等等，还要关注软件运行中出现的故障。

在程序上线之后，一旦发生异常，第一件事就是要弄清楚当时发生了什么。用户当时做了什么操作，环境有无影响，数据有什么变化，是不是反复发生等，然后再进一步的确定大致是哪个方面的问题。确定是程序的问题之后再交由开发人员去重现、研究、提出解决方案。这时，日志就给我们提供了第一手的资料。

日志通常分成几个等级，等级不单只是表示详细的程度，还关系到适用场景、服务对象和目的功能等。这些等级分别是：FATAL、ERROR、WARNING、INFO、DEBUG、TRACE；

FATAL表示致命的错误，出现FATAL表明程序遇到了致命的错误，必须马上终止运行；

ERROR表示的是错误信息，它包括错误的类型，错误的具体内容、位置和场景，是否可以回复等等，只有当错误会影响到系统的正常运行时，才应该作为错误日志输出，在WARN之后的级别在打印错误时，应该同时打印错误码；

WARNING表示警告，意思是程序处理中遇到非法数据或者某种可能的错误。该错误是一过性的、可恢复的，不会影响程序继续运行，程序仍处在正常状态；

INFO日志提供程序进度和状态信息，一般这种信息都是一过性的，不会大量反复输出，INFO在粗粒度级别上突出强调应用程序的运行过程。打印一些重要的信息，这个可以用于生产环境中输出程序运行的一些重要信息，但是不能滥用，避免打印过多的日志；

DEBUG表示在线调试终端输出，这个级别的日志，默认情况下会在终端输出，但是不会归档到日志文件。因此这种日志一般用于开发者在程序当前启动窗口上，查看日志流水信息；

TRACE表示在线调试，默认情况下这种日志既不打印到终端也不输出到文件，对程序运行效率无影响，TRACE属于很低的日志级别，一般不使用，TRACE跟踪的是函数的调用，并且TRACE不应该含有变量参数，而仅能提示函数的调用关系。