[发明专利]一种数据汇聚系统和方法

说明书

技术领域

本发明涉及数据处理领域，更具体地，涉及一种数据汇聚系统和方法。

背景技术

近些年来，我国的城镇化建设取得了卓越的成就。但之前的城镇化进程，在取得巨大成就的同时，也积累下来了很多不符合科学发展观要求、亟待处理和破解的突出问题。为解决城市发展难题，实现城市可持续发展，建设智慧城市已成为当今世界城市发展不可逆转的历史潮流。

智慧城市指的是运用信息和通信技术手段感测、分析、整合城市运行核心系统的各项关键信息，从而对包括民生、环保、公共安全、城市服务、工商业活动在内的各种需求做出智能响应。其实质是利用先进的信息技术，实现城市智慧式管理和运行，进而为城市中的人创造更美好的生活，促进城市的和谐、可持续成长。

信息的来源非常丰富且数据类型多样，存储和分析挖掘的数据量庞大，在对海量数据进行分析、挖掘，为城市的智慧化、精细化管理提供有效的决策依据之前，需要先将海量数据进行汇聚。

目前现有技术中对于数据的汇聚方法一般有两种方式，具体包括：

一是运用开源的ETL工具进行数据的汇总。ETL（Extract-Transform-Load），用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。虽然ETL基本上能够解决数据汇聚的问题，但是同时也存在着以下两个个方面的问题：

1、工具单一：有些ETL工具只能解决部分问题，但是有些数据汇聚的工作需要多个工具的合作，而且这些ETL工具往往规模都比较大，对于一些规模较小的汇聚工作，往往存在着资源浪费的问题。

2、专业性要求高，使用难度大：大多数ETL工具的使用都需要操作人员有一定的编程基础，对于大多数运维人员和运维企业来说，存在一定的使用难度，同时也增加了使用的成本。

二是通过相关人员编写相关的脚本，手动进行数据汇聚。此方式需要大量人工干预，使用方式不够灵活。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷（不足），提供一种使用方式简单且灵活方便的数据汇聚系统。

本发明还提供一种使用方式简单且灵活方便的数据汇聚方法。

为解决上述技术问题，本发明的技术方案如下：

一种数据汇聚系统，包括用于从子系统中获取数据的运行中心和用于生成和配置各个子系统的配置文件的客户端；

运行中心中设有中心数据库和用于根据配置文件和各个子系统进行通信以及接收、处理各个子系统的数据并将数据写入中心数据库的服务端；

运行中心与各个子系统之间建立统一的基于RESTful通信。

本发明的系统在运行中心与子系统之间建立统一的基于RESTful通信，实现了服务端与各个子系统之间的通信以及各个组件之间的通信，而且运用统一协议，使得系统可以自由地选择和更换数据的处理方式，使用者无需具备专业的编程知识即可使用系统，整个系统进行数据汇聚的方式变得简单灵活而且方便 。

上述方案中，服务端中设有用于等待各个子系统推送数据的等待推送进程、用于主动向子系统请求数据的主动请求进程和用于进程调度的调度系统。系统提供了子系统主动推送数据以及主动向子系统请求数据两种策略，给予了调度系统一定的自由度，使得数据的汇聚能够分时分段处理，避免同时处理大量数据，从而可以合理分配网络和技术资源。

上述方案中，服务端中还设有driver层。在建立统一的基于RESTful通信的基础上，系统抽象出driver层，底层可以根据实际需要使用不同的插件，实现底层实现和上层运用的隔离，系统搭建完成后可以根据具体的应用需求扩展或者更改相应的底层处理方式，增加了系统的灵活性。

一种数据汇聚方法，包括：

运行中心与各个子系统之间预先建立基于RESTful的通信；

客户端利用数据库表生成各个子系统的配置文件；

运行中心中的服务端根据配置文件按照调度策略获取各个子系统的数据来更新运行中心中的中心数据库。

本发明的方法在运行中心与子系统之间预先建立统一的基于RESTful通信，实现了服务端与各个子系统之间的通信以及各个组件之间的通信，而且运用统一协议，使得服务端可以自由选择调度策略来获取子系统的数据，使得数据的汇聚具备一定的灵活性，而且使用者无需具备专业的编程知识即可使用该方法。本发明的数据汇聚方法方式变得简单灵活而且方便 。