[发明专利]一种数据综合接入系统及方法

权利要求书

1.一种数据综合接入系统，其特征在于，包括数据来源模块、数据接入处理模块、数据中心、文件中心和定制接入模块；所述数据接入处理模块分别连接数据来源模块、数据中心和文件中心；所述数据来源模块确定来源数据源，通过数据接入处理模块对数据进行处理，实现数据从源到目标的数据处理过程，最后存储至数据中心和文件中心；所述定制接入模块用于实现定制数据的接入。

2.根据权利要求1所述的一种数据综合接入系统，其特征在于，所述来源数据源包括来源数据库、来源文件和来源接口。

3.根据权利要求1所述的一种数据综合接入系统，其特征在于，所述数据来源模块设有数据类型适配器，以满足不同类型的数据之间的接入转换。

4.根据权利要求1所述的一种数据综合接入系统，其特征在于，所述数据接入处理模块包括可视化Web-ETL单元、Kafka消息队列单元、SFTP单元和FTP单元；所述可视化Web-ETL单元对数据来源模块发送过来的来源数据库和来源文件进行处理；所述Kafka消息队列单元对来源数据库和来源接口进行处理；所述SFTP单元和所述FTP单元对来源文件进行处理，并分别将来源文件存入文件中心和FTP服务器。

5.根据权利要求4所述的一种数据综合接入系统，其特征在于，所述可视化Web-ETL单元包括Web-ETL设计器和Web-ETL执行器，Web-ETL设计器通过Web-ETL节点的自定义拖拉拽，配置较为复杂的数据的接入过程，Web-ETL执行器根据Web-ETL设计器配置的结果对数据进行处理。

6.根据权利要求5所述的一种数据综合接入系统，其特征在于，所述Web-ETL设计器通过流程节点的方式设计，一条流程由多个流程节点组合而成，将每个流程节点对应到不同的组件，从而实现相应的节点功能。

7.根据权利要求5所述的一种数据综合接入系统，其特征在于，所述Web-ETL执行器根据Web-ETL设计器配置的流程环节，对数据进行清洗、转换和筛选。

8.根据权利要求4所述的一种数据综合接入系统，其特征在于，所述Kafka消息队列单元用于将数据写入Kafka队列中，并自动监听Kafka队列消息，当有新数据写入队列时，将数据保存到数据中心。

9.根据权利要求1所述的一种数据综合接入系统，其特征在于，所述定制接入模块包括第三方服务单元、数据接入设计器和数据接入执行器；所述数据接入设计器分别连接第三方服务单元和数据接入执行器；所述第三方服务单元用于第三方服务提供调用接口、支持数据接入设计器调用以及接收申请单信息，并根据申请单配置，获取数据并解析，然后将数据放入对应Kafka队列；所述数据接入设计器用于记录第三方服务单元信息，配置调用信息，获取申请单信息，并添加任务；所述数据接入执行器监听Kafka队列，从Kafka队列获取数据，并批量入库。

10.根据权利要求1-9中任一项所述的一种数据综合接入系统的数据综合接入方法，其特征在于，包括以下步骤：

数据获取：获取数据库、文件和接口数据，并通过定义一套数据类型之间互相转换的中间类型，最大限度地保障数据完整准确接入；

接入配置：通过可视化Web-ETL单元或者接入申请单创建数据接入任务并进行接入配置，可视化Web-ETL单元通过对Web-ETL节点的自定义拖拉拽，配置较为复杂的数据接入过程及数据处理的中间过程；接入申请单通过表单填写的方式，先选择来源数据源，再选择目标数据源或数据表，然后配置来源数据源与目标数据源或数据表的数据项对应关系，配置接入处理方式；

执行处理：根据配置内容执行数据接入，包括读取来源数据源、数据处理和从目标数据源中写入数据。