[发明专利]一种基于ETL处理的数据转移优化方法及设备

权利要求书

1.一种基于ETL处理的数据转移优化方法，其特征在于，包括：

多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL处理服务器；

各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中，并将原本需要接收的相应业务的后续数据重定向到对相应业务进行ETL处理的ETL处理服务器；

各个ETL处理服务器获取自身转移数据到对相应业务进行ETL处理的ETL处理服务器的时间T1，以及相应业务的后续数据上传到ETL处理服务器的时间T2，若T1大于T2，则下发延迟上传的指令给相应业务的后续数据上传方。

2.根据权利要求1所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述延迟上传的指令中，延迟上传的时间大于T1-T2。

3.根据权利要求1所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL处理服务器，具体包括：

设定ETL调度服务器以及多个用于进行ETL处理的ETL处理服务器；

各个ETL处理服务器在即将进行ETL处理时，向ETL调度服务器发送自身待处理的ETL数据清单，所述ETL数据清单上记录有不同业务的任务目录以及各项业务的数据量的百分比；ETL调度服务器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项业务进行ETL处理的ETL处理服务器。

4.根据权利要求3所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述ETL数据清单上记录的各项业务的数据量的百分比，具体包括：本地服务器所拥有的各项业务的数据量相对于历史进行ETL处理过的该项业务的数据总量的百分比。

5.根据权利要求4所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述ETL调度服务器根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对各项业务进行ETL处理的ETL处理服务器，具体包括：

ETL调度服务器获取到各个ETL处理服务器发送的ETL数据清单后，对比各个ETL数据清单上记录的各项业务的数据量的百分比，选出每项业务的数据量所占百分比最高的ETL数据清单，将选出的ETL数据清单对应的ETL处理服务器设置为对相应业务进行ETL处理的ETL处理服务器。

6.根据权利要求5所述的一种基于ETL处理的数据转移优化方法，其特征在于，在根据所述ETL数据清单上记录的各项业务的数据量的百分比来确定对某项业务进行ETL处理的ETL处理服务器时，需至少有一个ETL数据清单的该项业务的数据量所占百分比超过预设的占比阈值，否则不对该项业务进行数据转移以及ETL处理。

7.根据权利要求3所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中，具体包括：

各个ETL处理服务器均从ETL调度服务器处获取对相应业务进行ETL处理的ETL处理服务器与相应业务之间的对照表；

若自身是对相应业务进行ETL处理的ETL处理服务器，则保留自身的相应业务数据；

若自身不是对相应业务进行ETL处理的ETL处理服务器，则将自身的相应业务数据转移至对该相应业务进行ETL处理的ETL处理服务器；

数据转移完成后，需要对相应业务进行ETL处理的ETL处理服务器对相应业务进行ETL处理。

8.根据权利要求7所述的一种基于ETL处理的数据转移优化方法，其特征在于，所述ETL调度服务器设定有调度周期，在同一个调度周期内，所述ETL调度服务器只确定一次对相应业务进行ETL处理的ETL处理服务器，在同一个调度周期内，若某项业务已确定对其进行ETL处理的ETL处理服务器，则其它ETL处理服务器对接收该项业务的后续数据进行重定向，使该项业务的后续数据直接传递到对该项业务进行ETL处理的ETL处理服务器。