[发明专利]一种异构数据聚合方法

说明书

本发明涉及数据采集处理技术领域，特别涉及一种异构数据聚合方法，包括以下步骤：S1，通过可视化界面配置两个异构的数据源的链接信息；S2，通过过滤器组件配置数据的过滤规则；S3，通过转换器组件配置数据的转换规则：S4，通过聚合器构建异构数据库的关联聚合查询过程；S5，通过映射器指定局和结果的目标路径，将结果同步到目标数据库中供数据分析人员使用或第三方调用。本发明的有益效果为：减少了多次读写中间结果的过程，极大了提高了效率。同时不需要中间数据仓库的转出过程，也减少了对物理硬件的投入。并且在解析关联聚合任务时，会通过任务的有向无环图来构建任务的最佳执行过程，从而极大了缩短了任务的执行时间。

技术领域

本发明涉及数据采集处理技术领域，特别涉及一种异构数据聚合方法。

背景技术

数据采集，又称数据获取，是利用一种工具或方法，从系统外部采集数据并输入到系统内部的一个接口，被广泛应用在各个领域。

数据处理，则是利用一种工具或方法，将系统内部的数据按照一定的规则进行标准化的过程，这个过程中规范数据的格式、提高数据的质量、过滤掉不符合规则的数据。

在互联网行业快速发展的今天，数据采集和处理已经被广泛应用于互联网、物联网及分布式领域，数据采集和处理领域已经发生了重要的变化。首先，分布式控制应用场合中的智能数据采集系统在国内外已经取得了长足的发展。其次，总线兼容型数据采集插件的数量不断增大，与个人计算机兼容的数据采集系统的数量也在增加。国内外各种数据采集、处理方法和装置先后问世，将数据采集、处理带入了一个全新的时代。

随着互联网以及工业物联网的发展，各级政府、部门以及企业都产生了海量的数据，这些数据的存储方式、数据库、系统、网络环境等都不同，数据之间无法相互共享，逐渐形成了数据孤岛。为了充分利用这些数据挖掘数据潜在的价值，现在常见的实现方式是将这些异构的数据汇聚到同一数据仓库下，利用数据仓库进行海量数据的分析挖掘，这个过程中数据同步、处理、标准化等环节都占用了大量的时间，降低了整个过程分析挖掘的效率。

为此，本申请设计一种针对异构数据聚合的方法，以解决上述问题。

发明内容

本发明为了弥补现有技术中异构数据聚合效率低的不足，节约成本，高效工作，达到分析人员及时使用数据、保证数据及时从异构作业库采集、处理到分析库的目的，提供了一种异构数据聚合方法。

本发明是通过如下技术方案实现的：

一种异构数据聚合方法，其特征在于，包括以下步骤：

S1，通过可视化界面配置两个异构的数据源的链接信息；

S2，通过过滤器组件配置数据的过滤规则；

S3，通过转换器组件配置数据的转换规则：

S4，通过聚合器构建异构数据库的关联聚合查询过程；

S5，通过映射器指定局和结果的目标路径，将结果同步到目标数据库中供数据分析人员使用或第三方调用。

进一步地，为了更好的实现本发明，所述S1具体为，分别在模版中配置参与进行关联聚合的数据源A和数据源B，配置的信息包括Type、JDBC、Username、Password、Database、Tablename和FieldList。

进一步地，为了更好的实现本发明，所述Type支持mysql、oracle sqlserver、db2、postgresql、mongodb、hive、hbase、elasticsearch、kingbase、dm、oscar。

进一步地，为了更好的实现本发明，所述S2中，过滤规则支持sql的where条件过滤、正则过滤、数据范围过滤和枚举范围过滤。