[发明专利]一种用于异常日志转储的LZO压缩方法及系统

说明书

本发明提供一种用于异常日志转储的LZO压缩方法及系统，所述方法包括以下步骤：S101、接收内核异常信息反馈；S102、调用封装的LZO数据压缩函数接口，将异常信息进行压缩；S103、将压缩后的异常信息数据转储到存储介质；S104、当异常信息服务层需要获取异常日志时，调用封装的LZO数据解压缩函数接口，对异常信息数据进行解压缩；S105、将解压缩后的异常信息反馈给异常信息服务层。通过针对异常日志转储而将原生LZO数据压缩接口进行重新封装，将原本复杂的接口算法封装至四个函数接口中，由于封装了原生LZO接口算法本身的复杂操作，使用者不必关心LZO算法本身，没有学习成本，不需要清楚知道压缩算法的技术细节，使用步骤简洁，且利于维护。

技术领域

本发明涉及文件压缩技术领域，特别是一种用于异常日志转储的LZO压缩方法及系统。

背景技术

Linux下目前存在多种压缩算法库，针对不同的应用场景，不同的算法有各自不同的特点。当需要在项目中引入一种解压缩算法需求时，需要从解压缩速度、压缩率以及是否需要占用额外内存等多个方面来进行选择最合适的算法。

目前，较新的Linux内核已经移植了多种解压缩算法库，从内核使用情况来看，842没有解压接口，lz4只有zram模块用到，xz用于解压.xz文件，而ZLIB和LZO更常规些。

ZLIB是一个开源的算法库，很多软件均采用此种压缩算法，可以作为一种标准、通用的算法库。该算法支持无损压缩，对于线程也是安全的，提供了友好的解压缩函数接口，并且也提供了GZIP文件的函数读写接口，使用上简单易行，没有多余的复杂操作。另外，该算法库还考虑了处理器和内存资源的适配控制操作，在计算性能有限或者内存资源受限的情况下，可以给解压缩操作配置不同的参数，降低其对处理器或者内存的占用。且ZLIB压缩率非常高，达到13.4％的压缩率，压缩速度为21MB/s，解压缩速度为118MB/s，适用于绝大多数的应用场景。

LZO是一种实时数据压缩库(a real-time data compression library)，此种算法库更加重视数据的压缩速度，更加适用于需要快速完成压缩操作的场景。LZO同样遵循GUN的GPL使用许可。LZO也是一种无损压缩算法，压缩率也比较理想，最高可达到20.5％的压缩率，压缩速度为135MB/s，解压缩速度为410MB/s。但在压缩率和压缩速度间，存在一个制约关系，使用更高的压缩率，也就意味着势必降低压缩速度。另外，解压缩速度不受压缩率的影响，保持不变。

在异常日志转储的应用场景中，要求在系统出现异常报错甚至宕机时，能以最快的速度将异常日志转储出去，同时又要考虑BMC等外部存储介质可能存在的存储空间有限的情况，因此需要对异常日志做先压缩后转储的操作。异常日志的读取操作没有对速度的要求，因此解压缩速度这一因素不在考虑的范围内。针对异常日志转储这一应用场景的需求，LZO压缩算法具有比其他算法更高的压缩速度，同时压缩率比较理想，符合应用场景的需求。

鉴于LZO算法本身特点，如果直接使用现有的函数接口，不仅需要在原有代码逻辑中进行额外内存申请以及相关的逻辑判断，而且还要考虑线程安全性问题，大大降低了原有代码的可读性，不利于代码的长期维护，易用性差。

发明内容

本发明的目的是提供一种用于异常日志转储的LZO压缩方法及系统，旨在解决当前LZO算法在异常日志转储应用场景中易用性差以及降低使用者原有代码逻辑性的问题，为内核异常日志转储提供友好易用的函数接口，易用性高且不降低使用者原有代码逻辑。

为达到上述技术目的，本发明提供了一种用于异常日志转储的LZO压缩方法，包括以下步骤：

S101、接收内核异常信息反馈；

S102、调用封装的LZO数据压缩函数接口，将异常信息进行压缩；

S103、将压缩后的异常信息数据转储到存储介质；