[发明专利]数据回流方法、装置、系统及设备

权利要求书

1.一种数据回流系统，所述系统包括：数据仓库、回流配置装置、计算装置以及线上管理装置；

所述数据仓库，用于：存储和管理原始数据表；

所述回流配置装置，用于：展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识以及目的数据表标识；

所述计算装置，用于：基于所述回流请求中携带的信息配置清洗模板程序和同步模板程序的数据参数，为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的线上管理装置；

所述线上管理装置，用于：接收所述增量数据，利用所述增量数据更新所述目的数据表。

2.一种数据回流方法，所述方法包括：

展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识、以及目的数据表标识；

基于所述回流请求中携带的信息配置清洗模板程序和同步模板程序的数据参数，为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的数据库。

3.根据权利要求2所述的方法，携带相同目的表标识的回流请求配置同一清洗节点或同一同步节点。

4.根据权利要求2所述的方法，若所述目的数据表备份于多个数据库，则所配置的同步节点的个数与目的数据表的个数相同。

5.根据权利要求2所述的方法，所述待回流字段的增量数据基于当前原始数据表与上一次同步时原始数据表的数据变化获得。

6.根据权利要求2所述的方法，还包括：

记录同步时间、所述原始数据表以及所述目的数据表的对应关系。

7.一种数据回流装置，所述装置包括：

展示模块，用于：展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识、以及目的数据表标识；

配置模块，用于：基于所述回流请求中携带的信息配置清洗模板程序和同步模板程序的数据参数，为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的数据库。

8.根据权利要求7所述的装置，携带相同目的表标识的回流请求配置同一清洗节点或同一同步节点。

9.根据权利要求7所述的装置，若所述目的数据表备份于多个数据库，则所配置的同步节点的个数与目的数据表的个数相同。

10.根据权利要求7所述的装置，所述待回流字段的增量数据基于当前原始数据表与上一次同步时原始数据表的数据变化获得。

11.根据权利要求7所述的装置，还包括记录模块，用于：

记录同步时间、所述原始数据表以及所述目的数据表的对应关系。

12.一种数据回流设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识、以及目的数据表标识；

基于所述回流请求中携带的信息配置清洗模板程序和同步模板程序的数据参数，为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的数据库。