[发明专利]一种基于事件的云日志切割方法

说明书

本发明公开了一种基于事件的云日志切割方法，本发明通过源代码设置探针，获取程序执行路径，将执行路径与日志结合，抽象出程序执行的事件链。与日志原始文本信息分析方法相比，它额外提供了日志对应的程序执行状态；与源代码分析方法相比，可以追踪程序在事件中的运行状态，准确率高。本发明通过引入动态收集运行时信息的可能性，该方法避免了代码重新编译的繁琐过程，同时能够准确记录程序的每一个执行路径。针对日志消息在程序中不同的传递路径，本发明通过跟踪日志框架对接函数或虚拟文件系统VFS活动，记录日志信息所对应的程序执行路径，从而解决了仅通过时间戳匹配不精确的问题。

技术领域

本发明属于软件工程领域，具体涉及一种基于事件的云日志切割方法。

背景技术

如今的云服务都在大规模服务器集群中运行。然而，当一个在数以千计的计算机上运行的由数百个软件组件组成的数据中心规模的服务出现异常时，开发人员或运营商需要使用所有可用的工具来进行故障排除和诊断。几乎每个软件都内置了一个日志源。日志(Log)是系统在运行过程中变化的一种抽象，其内容为指定对象的某些操作和其操作结果按时间的有序集合，它提供了详细的信息，反映了原始开发人员对需要注意的以及不寻常的事件的想法。通过这些痕迹可以准确地还原程序的运行状态，并在系统出现故障和失效的情况下进行分析，以确定问题的原因和位置。

随着系统规模的扩大，操作员必须处理的信息量远远超过了可以人工处理的水平。因此，对监测数据的自动处理有巨大的需求。事件为用户在程序上执行的原子操作，如果将原始日志信息分组成与事件相对应的日志序列，即原子操作对应的日志，具有高相关性的关联。一旦确定了关键的日志信息，就可以限定与该崩溃事件相对应的日志上下文的范围，这样系统管理员在分析日志时就能专注于特定事件，比作为低级信息的单条日志消息更能指示系统的问题。现有的方法可分为“源代码分析技术”与“过程挖掘技术”两种，受到依赖于日志本身与只分析源代码两个限制，容易受噪声影响以及难获得事件的特征。

鉴于许多生产系统中的开源软件无处不在，作为系统维护者或软件开发者，他们可以接触到源代码。在物理层面上，日志是基于预先定义的源代码，是对程序运行状态的实时表述。以源代码作为路线图，可以补充基于日志信息的系统审计。如果通过源代码追踪日志信息，对其进行分割，并提取到事件，这将获得比纯粹的日志数据分析更高的准确性，并克服上述方法的弱点。

发明内容

本发明的目的在于克服现有技术中容易受到噪声的影响、难以获得事件的特征、需要大量的计算资源的问题，提供一种基于事件的云日志切割方法，能够获取程序执行状态，自动处理生成的日志并按照事件分割，限定与指定事件相对应的日志上下文的范围，在日志分析工作中是重要的。

为了达到上述目的，本发明包括以下步骤：

S1，判断目标程序是否采用日志框架传输，若是，则执行S2，若否则执行S3；

S2，在记录日志的源代码文件中定位与日志框架互动的目标函数，执行S4；

S3，通过虚拟文件系统VFS定位与日志框架互动的日志文件，执行S4；

S4，在每个函数或日志文件上设置探针，收集目标函数或日志文件被调用时的进程调用堆栈，执行S5；

S5，将被调用时的进程调用堆栈转化为树结构，并将日志文件对应的节点高亮，执行S6；

S6，计算相邻高亮节点的最大公共祖先数，执行S7；

S7，以最大公共祖先数的75％平均值为标准将日志划分，高于75％平均值的相邻节点将被划分为同一事件，反之则为不同事件。

S2中，指定一个探测点，并将一个定义的处理函数与该探测点相关联，当内核执行到该探测点时，相应的关联函数被执行，然后继续正常的代码路径。