[发明专利]优化写入方法、优化写入设备及数据产生和写入设备

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种优化软件程序所产生的数据的优化写入方法、优化写入设备及数据产生和写入设备。

背景技术

软件产品通常需要产生并输出一些信息。越是重要的软件产品，产生的输出信息越是重要。软件产生输出信息的过程以及输出信息存储方式也经历了演化。

在计算机使用的早期阶段，软件产生的信息被直接实时送到打印机或控制台。操作员需要监视这些信息。

随着计算机技术的逐步发展，软件产生的信息逐步开始不直接送到打印机，而是先写到磁盘文件里。一种典型的软件产生的信息是日志信息，来记录软件运行时的执行过程，以供以后进行软件跟踪或统计分析时使用。

图1示出了对日志信息进行记录的一种已有技术。图1所示的记录产生及写入装置包括记录产生器101’和记录文件102’。记录产生器101’根据软件运行而产生的日志信息直接写入记录文件102’，生成程序日志文件。日志文件中包含的记录称为日志记录，日志记录通常包括由若干字段的信息条目构成的数据。日志文件又被称为扁平文件。扁平文件意思是文件只包含没有复杂结构的简单信息条目日志记录。除了时间顺序外，日志记录之间没有其他明显关系。如果有多个日志文件，则每一个文件基本上都是独立的。扁平日志文件里的记录是由可读的完全形式的信息组成。这些扁平日志文件没有内在的排序，过滤，分析。当消息文本很长的时候，同样的长消息文本被重复记录许多次，这导致向磁盘写日志记录的效率的下降。

而且这种以完全形式写信息会导致存储在磁盘文件中的数据冗余，使日志文件可能会增长到很大，消耗大量系统存储资源。当系统需要写入的记录很多时，还可能造成延迟，无法保证实时性。

例如，软件经常产生包含长字段“Group Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”的记录，其中“Group Names”是字段名，“cn＝mygroup1，cn＝ibmpolicies，o＝ibm”是字段中包含的信息条目。当第一次生成上述字段时，要记录“Group Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”。当以后每次生成上述字段时，仍要记录“Group Names：cn＝mygroup1，cn＝ibmpolicies，o＝ibm”。这造成了系统资源的浪费和运行效率的下降。

随着日志产生和存储技术的进一步发展，如图2所示，出现了在记录产生器101’和记录文件102’之间增加优化写入器202’以便提高写日志记录的效率并节约系统存储空间的技术。在图2中，记录产生及写入装置201’包括记录产生器101’和优化写入器202’。记录产生器101’产生的记录通过优化写入器202’写入记录文件102’。例如，专利US6199070公开了一种技术，其把日志信息存储在多个数据库文件里，在多个日志文件之间建立联系，并利用已经有的数据库管理的标准功能实现数据标准化，提高写入效率并节约系统资源。

图3示出了专利US6199070中描述的系统结构。图3的优化写入器202’包括记录接收器20201’、字段分析器20202’、常见长字段表20203’、匹配识别器20204’、写入执行器20206’。

根据该已有技术，程序设计人员要事先知道哪些字段中容易出现长的、且重复概率高的信息条目。预先对于每一个这样的字段(如上文的“Group Names”)设计一个信息符号表20205’-i(i为从1到n的整数)。开发人员完成程序设计后，系统管理员把该字段中事先了解的重复概率高的信息条目(如上文的“cn＝mygroup1，cn＝ibmpolicies，o＝ibm”)以与一个分配的信息符号相对应的方式预写到对应的信息符号表20205’-i中。

下面参考图4描述专利US6199070中的优化写入器202’的工作过程。

当记录接收器20201’接收到记录产生器101’产生的日志记录后，把该日志记录所包含的字段逐个地送给字段分析器20202’分析(S41’)。常见长字段表20203’中记录了事先知道的容易包含长的、且重复概率高的信息条目的字段名(每个字段名对应于一个信息符号表20205’-i)。

当字段分析器20202’判断出日志记录所包含的字段不属于常见长字段表20203’所预先记录的字段时，将该字段及其信息条目直接送入写入执行器20206’以便写入记录文件102’(S42’)。然后前进到步骤S46’继续执行。