[发明专利]基于分布式数据源的数据集中系统和方法

说明书

技术领域

本发明涉及信息数据处理技术领域，具体地说，涉及一种基于分布式数据源的数据集中系统和方法。

背景技术

随着科技的进步和商业模式的不断改进，大多数企事业单位在不同的地理区域设置有分支机构。由于地理环境的区别，有些机构分散在网络环境条件较差的区域，通常，这些机构的网络硬件设备和所在环境提供的网络条件很差，如电商的仓库、银行的农村银行等。

然而，这些机构在提供服务的过程中，需要将分散的业务数据集中起来，从而进行实时或离线的数据消费。而数据集中是一个相对概念,它是集中与分散、完全集中与分布集中相对照而言的，不论是完全集中还是分布集中，很多行业都有将业务数据集中起来、从而提供更好服务的需要。

目前大部分的应用场景是基于网络，将呈分布式设置在不同位置的数据源的数据，通过当地实际网络进行数据传输，从而达到数据集中的目的。由于某些机构的硬件条件较差、所在网络环境的恶劣导致网络不稳定，因而很难保障数据集中的稳定性、时效性和准确性，特别是对于实时数据的集中，将更加难以保障，这给数据的集中分析带来较大困难。

发明内容

本发明要解决的技术问题在于，提供一种基于分布式数据源的数据集中系统和方法，可动态配置核心KPI(Key Performance Indicator，关键绩效指标)集中规则，将多个分布式数据源的核心KPI数据稳定、准确地集中到数据仓库。

为解决上述技术问题，本发明提供了一种基于分布式数据源的数据集中系统，其中，包括：

数据仓库前置模块，与数据仓库连接，用于配置并分发数据集中规则，并将上报的数据同步至数据仓库；和

至少一个数据源前置模块，与对应的数据源连接，用于接收所述数据集中规则，根据所述数据集中规则抽取数据，并将所述数据上报。

优选地，所述数据仓库前置模块包括：

规则配置单元，用于配置数据集中规则，并将所述数据集中规则下发给对应的数据源前置模块；和

数据收集单元，与所述数据源前置模块和数据仓库相连接，用于接收上报的数据，并同步到数据仓库。

优选地，所述的数据源前置模块包括：

监听单元，用于监听是否收到新的数据集中规则，并根据新的数据集中规则更新原数据集中规则；

数据抽取单元，与所述监听单元相连接，用于根据所述的数据集中规则抽取数据源中的数据；和

数据上报单元，与所述数据抽取单元相连接，用于将抽取到的数据上报给所述数据仓库前置模块。

优选地，所述的数据源前置模块还包括：

计时单元，用于根据数据集中规则中的数据调度时间进行计时，当到达调度周期时，发送触发信号给所述数据上报单元，由所述数据上报单元将抽取到的数据上报给所述数据仓库前置模块。

优选地，所述数据抽取单元包括：

逻辑参数获取子单元，用于根据所述数据集中规则中的核心KPI数据逻辑，获取相应的逻辑参数；

查询子单元，用于在所述数据源中查询与所述逻辑参数对应的数据；和

计算子单元，用于根据所述核心KPI数据逻辑和查询得到的数据，计算得到用于上报的核心KPI数据。

为解决上述技术问题，本发明还提供了一种基于前述系统的数据集中方法，其中，所述方法包括以下步骤：

所述数据仓库前置模块为数据源配置相应的数据集中规则，并将所述数据集中规则分发至对应数据源的数据源前置模块；

数据源前置模块在所述数据源中抽取符合所述数据集中规则的数据，并根据规则将所述数据上报给所述数据仓库前置模块；和

所述数据仓库前置模块将上报的所述数据同步至数据仓库。

优选地，所述数据集中规则包括核心KPI数据逻辑和数据调度时间。

优选地，所述数据调度时间包括调度周期，所述调度周期以月、日、时、分或秒为单位设置。

优选地，所述根据规则将所述数据上报给所述数据仓库前置模块步骤具体为：

数据源前置模块在所述调度周期到达时，将所述数据上报给所述数据仓库前置模块。

优选地，所述在所述数据源中抽取符合所述数据集中规则的数据的步骤包括：

根据所述数据集中规则中核心KPI数据逻辑，获取相应的逻辑参数；

在所述数据源中查询与所述逻辑参数对应的数据；

根据所述核心KPI数据逻辑和查询得到的数据，计算得到所述核心KPI数据；

其中，将所述数据上报时，上报所述核心KPI数据。