[发明专利]基于互联网监管的多数据源动态数据同步治理方法及系统

说明书

本发明公开了基于互联网监管的多数据源动态数据同步治理方法及系统，属于互联网+监管领域，本发明要解决的技术问题为如何帮助用户快速构建大数据处理分析流程以及实现低成本快速构建数据中心，采用的技术方案为：该方法是通过对各种结构化数据、半结构化数据以及非结构化数据的数据走向进行融合，并提供一站式的数据开发环境、可视化流程设计、丰富的数据类型以及智能化的任务监控，实现用户快速构建大数据处理分析流程以及低成本快速构建数据中心；具体如下：数据源管理：管理数据连接服务；数据流程设计：将每个数据处理流程定义为一个数据流作业，通过数据流作业管理数据处理流程；模板管理：流程迁移和复用。

技术领域

本发明涉及互联网+监管领域，具体地说是一种基于互联网监管的多数据源动态数据同步治理方法及系统。

背景技术

当前，新一代信息技术正在快速改变着社会的生产和生活方式，数据已经成为组织和企业的核心资产，数字经济正在驱动新一轮的全球变革，企业的数字化转型已成为大数据时代的一种趋势。

互联网、大数据、人工智能和实体经济深度融合，推动各行各业的融合创新。在融合创新的时代，充分利用数据的关联、交叉和融合实现大数据的价值最大化成为各行各业实施数字化转型的关键之所在。在此背景下，跨领域、跨行业、跨地域的数据走向跨域融合，组织数据、互联网数据、物联网数据、科研数据等多源数据走向融合，结构化数据、半结构化数据、非结构化数据等超媒体数据走向融合。以大规模、多源异构、跨领域、跨媒体、跨语言、动态演化为主要特征的多源异构超媒体数据融合已经成为垂直行业和生态型企业实施数字化转型战略亟待解决的关键问题。

传统的数据仓库系统中，在数据加载入库之前数据模型都是事先定义好的，它只能存放结构化的、已被处理的数据。

故如何帮助用户快速构建大数据处理分析流程以及实现低成本快速构建数据中心是目前急需解决的问题。

发明内容

本发明的技术任务是提供一种基于互联网监管的多数据源动态数据同步治理方法及系统，来解决如何帮助用户快速构建大数据处理分析流程以及实现低成本快速构建数据中心的问题。

本发明的技术任务是按以下方式实现的，一种基于互联网监管的多数据源动态数据同步治理方法，该方法是通过对各种结构化数据、半结构化数据以及非结构化数据的数据走向进行融合，并提供一站式的数据开发环境、可视化流程设计、丰富的数据类型以及智能化的任务监控，实现用户快速构建大数据处理分析流程以及低成本快速构建数据中心；具体如下：

数据源管理：管理数据连接服务；

数据治理：数据流程设计、数据流程调试、数据流程监控以及数据流程运维，将每个数据处理流程定义为一个数据流作业，通过数据流作业管理数据处理流程；

模板管理：流程迁移和复用，提供数据流模板的上传、删除和下载功能。

作为优选，数据源管理具体如下：

用户统一定义数据源连接，确保在设计数据处理流程时，能够直接引用数据源连接；

数据源连接采用连接池方式，防止占用大量数据源连接数；其中，数据源连接的类型包括如下：

①、JDBC连接类型，如MySQL、Oracle、MSSQL、DB2等各种支持JDBC的数据库；

②、FTP连接类型；

③、SFTP连接类型；

④、HDFS连接类型；

⑤、HBase连接类型；

⑥、Hive连接类型；

⑦、ElasticSearch连接类型；

⑧、Kafka连接类型；