[发明专利]基于可视化配置的通用的数据对接系统、方法及电子设备

说明书

本发明提供了一种基于可视化配置的通用的数据对接系统、方法及电子设备，所述系统包括：数据抽取模块、数据转换模块、数据推送模块以及可视化配置与控制模块；可视化配置与控制模块，被配置为：获取用户界面配置的参数，对参数进行脚本处理，将数据抽取策略下发给数据抽取模块，将数据转换策略下发给数据转换模块，将数据推送策略下发给数据推送模块；数据抽取模块、数据转换模块和数据推送模块根据接收到的策略，依次完成不同业务系统之间的数据抽取、转换和推送；本发明通过提供可视化的配置与控制模块，将数据抽取、转换、推送的技术参数转换为脚本化的策略并下发给数据抽取、转换和推送模块，实现了数据的自动化对接。

技术领域

本发明涉及数据处理技术领域，特别涉及一种基于可视化配置的通用的数据对接系统、方法及电子设备。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。

随着信息化系统的普及，各种信息系统在同一企业内部逐渐部署，为企业发展提供了有利的支持。

但是，发明人发现，随着各种信息系统的使用，系统之间数据的交换越来越多，目前的数据对接方式是在系统间相互提供数据接口，存在对接过程定制化开发、过程复杂以及开发周期长的弊端。

发明内容

为了解决现有技术的不足，本发明提供了一种基于可视化配置的通用的数据对接系统、方法及电子设备，通过提供可视化的配置与控制模块，将数据抽取、转换和推送的技术参数转换为脚本化的策略，下发给数据抽取模块、数据转换模块和数据推送模块，克服了不同异构系统间数据对接的障碍，实现了数据的自动化对接。

为了实现上述目的，本发明采用如下技术方案：

本发明第一方面提供了一种基于可视化配置的通用的数据对接系统。

一种基于可视化配置的通用的数据对接系统，包括：数据抽取模块、数据转换模块、数据推送模块以及可视化配置与控制模块；

可视化配置与控制模块，被配置为：获取用户界面配置的参数，对参数进行脚本处理，将数据抽取策略下发给数据抽取模块，将数据转换策略下发给数据转换模块，将数据推送策略下发给数据推送模块；

数据抽取模块、数据转换模块和数据推送模块根据接收到的策略，依次完成不同业务系统之间的数据抽取、转换和推送。

进一步的，数据转换模块，包括依次设置的转换前暂存区、动态调整单元、智能脱敏单元和转换后暂存区，转换前暂存区用于暂存数据抽取模块发来的抽取数据，转换后暂存区用于暂存数据转换后的待推送数据。

更进一步的，动态调整单元根据数据转换策略，根据各个业务系统的需求，在数据同步过程中进行数据处理顺序的动态调整。

更进一步的，智能脱敏单元根据数据转换策略，根据依据敏感信息规则库和关系型数据，针对不同的数据进行脱敏处理，敏感数据同步到第三方系统存储。

进一步的，数据转换模块依据数据转换策略，将数据暂存区的数据取出，先经过动态调整与智能脱敏处理；

对数据进行HASH计算，与上一次数据HASH值比较，当数据不一致时，进行转换处理，将本地数据更新标识文件设置为TRUE，处理后的数据存入转换后暂存区。

更进一步的，数据推送模块依据数据推送策略，定时读取本地数据更新标识文件内容，当有更新时，从数据转换后暂存区获取数据，将数据推送到外部数据业务系统。

进一步的，数据抽取模块依据数据抽取策略，通过RESTFUL API、数据库和WEBSOCKET三种不同的形式从外部数据业务系统直接获取需要的数据，将获取的数据存入数据暂存区。

本发明第二方面提供了一种基于可视化配置的通用的数据对接方法。