[发明专利]一种基于ETL处理的数据转移优化方法及设备

说明书

本发明涉及一种基于ETL处理的数据转移优化方法及设备。其方法部分主要包括：多个ETL处理服务器之间通过业务数据量的占比来确定对相应业务进行ETL处理的ETL处理服务器；各个ETL处理服务器将相应业务的数据转移到对相应业务进行ETL处理的ETL处理服务器中，并将原本需要接收的相应业务的后续数据重定向到对相应业务进行ETL处理的ETL处理服务器；各个ETL处理服务器获取自身转移数据到对相应业务进行ETL处理的ETL处理服务器的时间T1，以及相应业务的后续数据上传到ETL处理服务器的时间T2，若T1大于T2，则下发延迟上传的指令给相应业务的后续数据上传方。本发明采用的方法可以优化网络数据的同步，提升数据转移效率，节约网络资源，避免数据顺序混乱。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种基于ETL处理的数据转移优化方法及设备。

背景技术

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、转换(transform)、加载(load)至目的端的过程。ETL一词较常用在数据仓库，但其对象并不限于数据仓库。

通常情况下，现有对数据进行ETL的手段都是将数据集中到一个服务器中进行数据的ETL过程，也即设定专属的服务器来进行ETL，该过程中一般会设定调度周期和处理周期，比如调度周期设定为一个月，那么其它服务器就会每隔一个月将数据集中到专属的服务器，再比如处理周期设定为一周，那么专属的服务器就会每隔一周进行一次ETL处理，另外除了来到下一个调度周期的情况，当出现新增/删减服务器的情况，例如时间段内区域里用电类型有所变化，用电大户搬出搬进了、新小区入住等等，也需要重新将数据集合到专属的服务器来进行ETL。但是，在不久的将来，服务器之间的能力差异其实越来越接近；那么这个时候，原本设定专属服务器进行ETL的思路就会产生不必要的效率上的制约。

例如对于电网数据，其一般来源多、信息异构、数量庞大、属性繁多，对于每一片区域，都会有一个下游的服务器作为数据上报端，收集该区域的数据，当需要对所有数据其进行ETL时，就需要每个下游的数据上报端都将数据上报到一个专属的服务器中来进行ETL，但随着技术的发展，下游的数据上报端服务器的能力会越来越趋近专属服务器，甚至两者没有区别，而且对于某项业务，有时某个下游的服务器还会收集到大部分的数据，此时若还需要将其数据上报给专属服务器处理，反而浪费网络资源，且降低效率。

另一方面，在确定进行ETL处理的服务器后，需要将其他服务器收集的相关数据集中到这个服务器进行处理，如此一来，其他服务器需要将数据转移到进行ETL处理的服务器，同时还需要继续接受自身后续收集的数据，收集到后续数据后又需要再转移，这样的话，数据转移过程过于繁琐，会降低效率且浪费网络资源，如何更好的进行数据转移以及后续数据收集是一个问题。

鉴于此，如何克服现有技术所存在的缺陷，解决现有技术中设定专属服务器来进行ETL以及数据转移和后续数据收集会降低效率、浪费网络资源的问题，是本技术领域待解决的难题。

发明内容