[发明专利]日志记录的处理方法及装置

说明书

技术领域

本发明涉及计算机数据处理领域，具体而言，涉及一种日志记录的处理方法及装置。

背景技术

ETL是一种数据提取、转换和加载数据的过程，负责将分散的异构数据进行清洗、转换、集成，最后加载到数据库中，SSIS是一种ETL工具，SSIS日志（SSISLogging）用于管理和控制SSIS包运行时的日志输出，其可输出的日志列可以预先定义，开发时只需要选择或不选择数据列，从而确定在日志输出表中添加需要的数据列作为特定输出，有其自身的局限性，这种方式导致在配置日志输出时无法添加自定义的日志列。例如，当系统并发跑ETL包时，一个ETL包运行代表一个客户，若想要在日志输出表中区分这些ETL包所输出的日志，当前的系统无法获知，从而导致用户查询和管理日志效率低。

目前针对相关技术的由于无法自定义ETL包运行时输出的日志信息，导致用户无法高效应用或处理日志信息的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术的由于无法自定义ETL包运行时输出的日志信息，导致用户无法高效应用或处理日志信息的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种日志记录的处理方法及装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种日志记录的处理方法，该方法包括：在ETL包中配置需要输出的日志记录，获取日志输出表；获取需要增加到日志中的日志记录值，日志包括至少一条日志行；调用定制日志函数，将需要增加到日志中的日志记录值输出到ETL包运行的日志行中；从日志行中提取日志记录值和执行编码值；创建日志记录值与执行编码值的关联关系；从日志输出表中查询得到具有相同执行编码值的日志行；根据日志记录值与执行编码值的关联关系，将日志记录值添加到日志输出表中具有相同执行编码值的日志行中。

为了实现上述目的，根据本发明的另一方面，提供了一种日志记录的处理装置，该装置包括：获取模块，用于获取需要增加到日志中的日志记录值，日志包括至少一条日志行；处理模块，用于在ETL包中配置需要输出的日志记录，获取日志输出表；调用模块，用于调用定制日志函数，将需要增加到日志中的日志记录值输出到ETL包运行的日志行中；提取模块，用于从日志行中提取日志记录值和执行编码值；创建模块，用于创建日志记录值与执行编码值的关联关系；查询模块，用于从日志输出表中查询得到具有相同执行编码值的日志行；添加模块，用于根据日志记录值与执行编码值的关联关系，将日志记录值添加到日志输出表中具有相同执行编码值的日志行中。

通过本发明，采用在ETL包中配置需要输出的日志记录，获取日志输出表；获取需要增加到日志中的日志记录值，日志包括至少一条日志行；调用定制日志函数，将需要增加到日志中的日志记录值输出到ETL包运行的日志行中；从日志行中提取日志记录值和执行编码值；创建日志记录值与执行编码值的关联关系；从日志输出表中查询得到具有相同执行编码值的日志行；根据日志记录值与执行编码值的关联关系，将日志记录值添加到日志输出表中具有相同执行编码值的日志行中，解决了相关技术的由于无法自定义ETL包运行时输出的日志信息，导致用户无法高效应用或处理日志信息的问题，进而实现可以根据用户需求在输出的日志信息中派生新的日志列，从而达到扩展日志输出表的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的日志记录的处理方法流程示意图；

图2是根据本发明实施例的日志记录的处理方法的详细流程图；

图3是根据本发明实施例的日志记录的处理装置结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

转向附图，其中相同的参考标号指代相同的元素，本发明的原理被示为在一个合适的计算环境中实现。以下描述基于所述的本发明的实施例，并且不应认为是关于此处未明确描述的替换实施例而限制本发明。

图1是根据本发明实施例的日志记录的处理方法流程示意图；图2是根据本发明实施例的日志记录的处理方法的详细流程图。

如图1所示该方法包括如下步骤：

步骤S102，在ETL包中配置需要输出的日志记录，获取日志输出表；