[发明专利]基于互联网监管的多数据源动态数据同步治理方法及系统

权利要求书

1.一种基于互联网监管的多数据源动态数据同步治理方法，其特征在于，该方法是通过对各种结构化数据、半结构化数据以及非结构化数据的数据走向进行融合，并提供一站式的数据开发环境、可视化流程设计、丰富的数据类型以及智能化的任务监控，实现用户快速构建大数据处理分析流程以及低成本快速构建数据中心；具体如下：

数据源管理：管理数据连接服务；

数据治理：数据流程设计、数据流程调试、数据流程监控以及数据流程运维，将每个数据处理流程定义为一个数据流作业，通过数据流作业管理数据处理流程；

模板管理：流程迁移和复用，提供数据流模板的上传、删除和下载功能。

2.根据权利要求1所述的基于互联网监管的多数据源动态数据同步治理方法，其特征在于，数据源管理具体如下：

用户统一定义数据源连接；

数据源连接采用连接池方式；其中，数据源连接的类型包括如下：

①、JDBC连接类型；

②、FTP连接类型；

③、SFTP连接类型；

④、HDFS连接类型；

⑤、HBase连接类型；

⑥、Hive连接类型；

⑦、ElasticSearch连接类型；

⑧、Kafka连接类型；

⑨、Excel及csv连接类型。

3.根据权利要求1所述的基于互联网监管的多数据源动态数据同步治理方法，其特征在于，数据流程设计具体如下：

流程分组：提供增加、删除、修改分组、启动以及停止的流程设计功能，通过分组对数据流作业分层分类，降低数据处理流程的管理与运维难度；

流程树形展示：用树显示当前用户所创建的所有作业，作业名称用不同的颜色来区分作业运行状态：绿色表示作业运行正常，红色表示作业运行中有提示告警信息，黑色表示作业没有运行；

可视化作业流程设计；

数据接入：提供多种数据接入处理器，用于采集各种多源异构数据，提供广泛的数据源适配、高性能的数据采集和灵活的调度模式，满足各种数据采集需求；

数据加载：数据加载提供多种数据加载处理器，用于将数据导入各种数据存储服务；

数据清洗：数据加载提供多种数据清洗处理器，用于对采集的数据进行校验和清洗；

数据转换：数据加载提供了多种数据转换处理器，用于对采集的数据进行转换；

自定义处理器：通过java代码编写实现特定功能的处理器，该处理器加载到流程作业。

4.根据权利要求3所述的基于互联网监管的多数据源动态数据同步治理方法，其特征在于，可视化作业流程设计具体如下：

每个数据流设计管理一个独立的画布，定义一个或多个流程节点，组成一个或多个数据流程；

在画布的工具栏提供丰富的数据处理类型，通过拖拉拽方式定义流程节点并连接各流程节点；

配置流程节点调度规则，配置流程节点属性，配置启动、停止流程或节点，配置调试和监控流程运行状态；

提供流程节点对齐、高亮展示的辅助功能；

流程定义、启停、调试、监控、运维的操作通过一个界面完成可视化方式的流程设计。

5.根据权利要求3所述的基于互联网监管的多数据源动态数据同步治理方法，其特征在于，数据接入支持的数据源包括如下：

①、通过JDBC方式采集数据；

②、通过Oracle日志采集Oracle数据，能够采集数据库INSERT、UPDATE及DELETE的所有数据操作；

③、通过MySQL日志采集MySQL数据，能够采集数据库INSERT、UPDATE及DELETE的所有数据操作；

④、采集FTP/SFTP文件数据；

⑤、采集HDFS文件数据；

⑥、采集HBase数据；

⑦、采集Hive数据；

⑧、消费Kafka数据。