[发明专利]一种实现数据抽取转换加载ETL的方法及装置

权利要求书

1.一种实现数据抽取转换加载ETL的方法，其特征在于，所述方法包括：

获得用户配置文件的指定标识，根据所述指定标识确定指定的用户配置文件；

利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件；

在第一数据文件中查找所述指定标识对应的数据部分，在所述第一数据文件中将所述指定标识对应的数据部分替换为所述第二数据文件内的数据，生成第三数据文件，其中所述第一数据文件是利用全部用户配置文件执行数据抽取转换加载ETL操作后生成的；

在所述第一数据文件的保存路径下将原有的第一数据文件删除，将所述第三数据文件作为更新后的第一数据文件保存。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得原始用户行为数据表；

在利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作的过程中将所述原始用户行为数据表更新为第二用户行为数据表；

在第一用户行为数据表中查找所述指定标识对应的第一数据部分，在所述第二用户行为数据表中查找所述指定标识对应的第二数据部分，在所述第一用户行为数据表中将所述第一数据部分替换为所述第二数据部分，其中所述第一用户行为数据表是利用全部用户配置文件执行数据抽取转换加载ETL操作的过程中对所述原始用户行为数据表进行更新获取的。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得指定时间段；

所述利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件，包括：

确定处于所述指定时间段内的所述指定的用户配置文件；

利用所述指定时间段内的所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

获得原始用户行为数据表以及在所述指定时间段之前一次的所述原始用户行为数据表的快照表；

在利用所述指定时间段内的所述指定的用户配置文件重新执行数据抽取转换加载ETL操作的过程中将所述原始用户行为数据表的快照表更新为第二用户行为数据表；

在第一用户行为数据表中查找所述指定标识对应的第一数据部分，在所述第二用户行为数据表中查找所述指定标识对应的第二数据部分，在所述第一用户行为数据表中将所述第一数据部分替换为所述第二数据部分，其中所述第一用户行为数据表是利用全部用户配置文件执行数据抽取转换加载ETL操作的过程中对所述原始用户行为数据表进行更新获取的。

5.一种实现数据抽取转换加载ETL的装置，其特征在于，所述装置包括：

确定单元，用于获得用户配置文件的指定标识，根据所述指定标识确定指定的用户配置文件；

执行单元，用于利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作，生成第二数据文件；

合并单元，用于在第一数据文件中查找所述指定标识对应的数据部分，在所述第一数据文件中将所述指定标识对应的数据部分替换为所述第二数据文件内的数据，生成第三数据文件，其中所述第一数据文件是利用全部用户配置文件执行数据抽取转换加载ETL操作后生成的；

第一替换单元，用于在所述第一数据文件的保存路径下将原有的第一数据文件删除，将所述第三数据文件作为更新后的第一数据文件保存。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第一获得单元，用于获得原始用户行为数据表；

第一更新单元，用于在所述执行单元利用所述指定的用户配置文件重新执行数据抽取转换加载ETL操作的过程中将所述原始用户行为数据表更新为第二用户行为数据表；

第二替换单元，用于在第一用户行为数据表中查找所述指定标识对应的第一数据部分，在所述第二用户行为数据表中查找所述指定标识对应的第二数据部分，在所述第一用户行为数据表中将所述第一数据部分替换为所述第二数据部分，其中所述第一用户行为数据表是利用全部用户配置文件执行数据抽取转换加载ETL操作的过程中对所述原始用户行为数据表进行更新获取的。