[发明专利]数据处理方法、ETL系统、服务器及存储介质

权利要求书

1.一种数据处理方法，其特征在于，应用于运行数据仓库ETL系统的服务器，所述ETL系统用于将数据从源端设备加载至目的端设备；所述方法包括：

针对从所述源端设备提取的多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息；

将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备；

针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除；

其中，所述数据操作信息包括第一数据快照和第二数据快照；

所述创建并保存每一个所述目标数据各自对应的数据操作信息，包括：

创建并保存每一个所述目标数据各自对应的第一数据快照；

所述将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备，包括：

将每一个所述目标数据进行转换处理，并在转换成功后，创建并保存每一个所述转换成功后的目标数据各自对应的第二数据快照，且删除该目标数据对应的第一数据快照；

将每一个转换后的目标数据加载至所述目的端设备；

所述针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除，包括：

针对被成功加载至所述目的端设备的转换后的目标数据，将该转换后的目标数据对应的第二数据快照删除。

2.如权利要求1所述的方法，其特征在于，所述ETL系统包括数据提取模块、数据转换模块以及数据加载模块；

所述针对从所述源端设备提取的多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息，包括：

所述数据提取模块从所述源端设备提取多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息后，将每一个所述目标数据添加至第一阻塞队列；

所述将每一个所述目标数据进行转换处理，包括；

所述数据转换模块从所述第一阻塞队列获取目标数据，并将获取的每一个所述目标数据进行转换处理后，将转换后的目标数据添加至第二阻塞队列；

所述将每一个转换后的目标数据加载至所述目的端设备，包括：

所述数据加载模块从所述第二阻塞队列获取转换后的目标数据，并将每一个转换后的目标数据加载至所述目的端设备；

所述针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除，包括：

所述数据加载模块针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除。

3.一种ETL系统，其特征在于，所述ETL系统用于将数据从源端设备加载至目的端设备；其中：

所述ETL系统具体用于，针对从所述源端设备提取的多个目标数据，创建并保存每一个所述目标数据各自对应的数据操作信息；

所述ETL系统还用于，将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备；

所述ETL系统还用于，针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除；

其中，所述数据操作信息包括第一数据快照和第二数据快照；

所述ETL系统在创建并保存每一个所述目标数据各自对应的数据操作信息时，具体用于：

创建并保存每一个所述目标数据各自对应的第一数据快照；

所述ETL系统在将每一个所述目标数据进行转换处理，并将每一个转换后的目标数据加载至所述目的端设备时，具体用于：

将每一个所述目标数据进行转换处理，并在转换成功后，创建并保存每一个所述转换成功后的目标数据各自对应的第二数据快照，且删除该目标数据对应的第一数据快照；

将每一个转换后的目标数据加载至所述目的端设备；

所述ETL系统在针对被成功加载至所述目的端设备的转换后的目标数据，将该目标数据对应的数据操作信息删除时，具体用于：

针对被成功加载至所述目的端设备的转换后的目标数据，将该转换后的目标数据对应的第二数据快照删除。