[发明专利]一种实现数据抽取转换加载ETL的方法及装置

说明书

本发明公开了一种实现数据抽取转换加载ETL的方法，用于重新执行数据抽取转换加载ETL操作，该方法包括：获得用户配置文件的指定标识，根据指定标识确定指定的用户配置文件；利用指定的用户配置文件重新执行ETL操作，生成第二数据文件；将第二数据文件与第一数据文件进行合并，生成第三数据文件，第一数据文件是利用全部用户配置文件执行ETL操作后生成的；在第一数据文件的保存路径下将原有的第一数据文件删除，将第三数据文件作为更新后的第一数据文件保存。本发明还公开了一种实现ETL的装置。

技术领域

本发明涉及数据处理技术领域，具体涉及一种实现ETL(Extract-Transform-Load，数据抽取转换加载)的方法及装置。

背景技术

在网站分析中，通常需要从网站上收集日志，并将收集到的日志转换为可以用SQL(Structured Query Language，结构化查询语言)查询的数据文件加载到数据仓库中，以使用户可以方便且灵活地分析在网站上进行浏览的网民的行为。目前可以利用执行ETL的方式将日志进行转换并加载到数据仓库中。ETL常用来描述将数据从来源端经过抽取(Extract)、转换(Transform)、加载(Load)至目的端的过程，是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

在现有技术中，每个网站上收集到的日志可以分别保存为一个用户配置文件，而执行一次ETL需要将全部用户配置文件的数据执行完毕。但是有时执行完ETL后会发现某个用户配置文件的数据存在质量问题，而重新执行ETL需要再次将全部用户配置文件的数据执行一次，会浪费大量时间。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种实现ETL的方法及装置，本发明提供的技术方案如下：

一种实现数据抽取转换加载ETL的方法，所述方法包括：

获得用户配置文件的指定标识，根据所述指定标识确定指定的用户配置文件；

利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件；

将所述第二数据文件与第一数据文件进行合并，生成第三数据文件，其中所述第一数据文件是利用全部用户配置文件执行数据抽取转换加载ETL操作后生成的；

在所述第一数据文件的保存路径下将原有的第一数据文件删除，将所述第三数据文件作为更新后的第一数据文件保存。

相应的，所述方法还包括：

获得原始用户行为数据表；

在利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作的过程中将所述原始用户行为数据表更新为第二用户行为数据表；

在第一用户行为数据表中查找所述指定标识对应的第一数据部分，在所述第二用户行为数据表中查找所述指定标识对应的第二数据部分，在所述第一用户行为数据表中将所述第一数据部分替换为所述第二数据部分，其中所述第一用户行为数据表是利用全部用户配置文件执行数据抽取转换加载ETL操作的过程中对所述原始用户行为数据表进行更新获取的。

相应的，所述方法还包括：

获得指定时间段；

所述利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件，包括：

确定处于所述指定时间段内的所述指定的用户配置文件；利用所述指定时间段内的所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件。

相应的，所述方法还包括：