[发明专利]数据回流方法、装置、系统及设备

说明书

本说明书实施例提供一种数据回流方法、装置、系统及电子设备，该数据回流方案中提供有交互界面，可便于用户发起回流请求，对用户来说，令回流请求携带有原始数据表标识、原始数据表中的待回流字段、以及目的数据表标识即可；本实施例还预先设置有清洗模板程序和同步模板程序，基于此，针对不同回流请求，均可使用清洗模板程序和同步模板程序快速地为回流请求配置对应的清洗节点和同步节点，从而实现一种能够统一处理数据回流的方案。

技术领域

本说明书涉及数据仓库技术领域，尤其涉及数据回流方法、装置、系统及设备。

背景技术

数据仓库(Data Warehouse)是一个面向主题的、集成的、随时间不断变化的数据集合，是在数据库已经大量存在的情况下，为了进一步挖掘数据资源、支持决策、支持数据分析等需要而产生的数据库。

生产系统的正常运行需要数据仓库的支持。数据回流是指将数据仓库中原始数据表中的一些数据导入至生产系统数据库的目的数据表的过程。在企业内部，可能有很多用户具有数据回流需求，提供一种用户能够便捷操作、能够统一处理数据回流的方案，成为亟待解决的技术问题。

发明内容

为克服相关技术中存在的问题，本说明书提供了数据回流方法、装置、系统及设备。

根据本说明书实施例的第一方面，提供一种数据回流系统，所述系统包括：数据仓库、回流配置装置、计算装置以及线上管理装置；

所述数据仓库，用于：存储和管理原始数据表；

所述回流配置装置，用于：展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识以及目的数据表标识；

所述计算装置，用于：为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的线上管理装置；

所述线上管理装置，用于：接收所述增量数据，利用所述增量数据更新所述目的数据表。

根据本说明书实施例的第二方面，提供一种数据回流方法，所述方法包括：

展示交互界面，通过所述交互界面接收回流请求，所述回流请求至少携带有如下信息：原始数据表标识、原始数据表中的待回流字段标识、以及目的数据表标识；

为所述回流请求配置对应的清洗节点和同步节点；其中，所述清洗节点运行有清洗模板程序，所述清洗模板程序的数据参数包括所述原始数据表标识及所述待回流字段标识，所述清洗模板程序用于读取原始数据表，清洗出针对待回流字段的增量数据；所述同步节点运行有同步模板程序，所述同步模板程序的数据参数包括所述增量数据及所述目的数据表标识，所述同步模板程序用于将所述增量数据发送给管理目的数据表的数据库。

可选的，携带相同目的表标识的回流请求配置同一清洗节点或同一同步节点。

可选的，若所述目的数据表备份于多个数据库，则所配置的同步节点的个数与目的数据表的个数相同。

可选的，所述待回流字段的增量数据基于当前原始数据表与上一次同步时原始数据表的数据变化获得。

可选的，还包括：

记录同步时间、所述原始数据表以及所述目的数据表的对应关系。

根据本说明书实施例的第三方面，提供一种数据回流装置，所述装置包括：