[发明专利]数据整合系统和方法

说明书

技术领域

本发明涉及一种数据整合系统和方法，尤其涉及一种能够提供具有标准数据格式的数据的数据整合系统和方法。

背景技术

众所周知，现今企业中的信息发展迅速，技术更是日新月异。然而多方面的信息建设以及自然的延续，虽然各自取得相当的效益，却也造成了一座座的信息孤岛，阻碍了进一步的信息运用以及更大的统合效益。为了阻断信息割据，提高信息系统的运行效率，数据整合技术成为各个企业所关心的技术。数据整合技术可将各个信息孤岛的数据进行互通，将孤立的信息整合到一起，形成最终企业需要的信息。

在数据整合技术中，其中两种为数据文件整合方式和数据及时整合方式，下面分别介绍：

1.数据文件整合方式(PUSH方式)

图1是数据文件整合方式的架构图。参见图1，所谓数据文件整合方式，是指由源数据提供方提供一个或多个数据文件，将源数据提供方的所有数据变化一次性提供给数据接收方，而由数据接收方对数据文件进行处理，其中文件格式比较常见的为xml、txt、excel等。此种方式主要应用场景是一次性导入大量数据。该方式的优点是容易控制，便于储存；缺点是文件格式种类繁杂，并且文件中的数据格式也是五花八门，一旦增加一种文件格式和数据格式，程序需要经常做很大的改动来适应新的格式，另外由于数据量比较大，导致系统的负荷大，如果整合过程中出现问题，容易导致整个过程失败，需要花费很长时间再次进行数据处理。

2.数据及时整合方式(PULL方式)

图2是数据及时整合方式的架构图。参见图2，所谓数据及时整合方式，是指数据提供方有任何数据变化，则通过数据接收方提供的及时响应方式向数据接收方通知其关心的数据的变化，而实现这种响应方式的代表技术有：Webservive、REST、jms等。此种方式经常应用的场景是在两个应用信息变化特别紧密的系统之间的信息同步上。优点是信息同步比较及时，及时同步的缺点是处理速度慢，对系统的处理能力与资源要求高，处理大量数据处理请求时容易导致程序崩溃。

下面是数据及时整合方式的Webservice实现的说明。

Webservice是由企业发布的完成特定商务需求的在线应用服务，其它公司或应用软件能够通过Internet来访问并使用这项在线应用服务。Webservice是一种构建应用程序的普遍模型，可以在任何支持网络通信的操作系统中实施运行；它是一种新的web应用程序分支，是自包含、自描述、模块化的应用，可以发布、定位、通过web调用。Webservice还是一个应用组件，它逻辑性地为其他应用程序提供数据与服务。各应用程序通过网络协议和规定的一些标准数据格式(Http，XML，Soap等)来访问Webservice，通过Webservice内部执行得到所需结果。Webservice可以执行从简单的请求到复杂商务处理的任何功能。一旦部署以后，其他Webservice应用程序可以发现并调用它部署的服务。

一种数据整合的方案是对应上述两种数据整合方式，开发两套数据整合程序来处理，将两种数据整合方式简单地组合在一起，即两种方案并存。对于这种数据整合的方案，存在如下缺点：

1.两种数据整合方式各有缺点：对于数据文件整合方式，整合过程中出错后，只能再次重新进行处理；对于数据及时整合方式，处理程序的处理能力受机器本身的限制，处理能力有限；

2.两种数据整合方式没有监控功能：由于两种数据整合方式本身并不提供监控功能，所以很难监控数据整合的运行情况和执行情况，这使得数据接收方和数据发送方都很难知道具体的数据整合情况，不容易掌握运行情况；

3.维护成本较大：数据文件整合方式中数据格式繁杂，一旦新增或修改一种数据格式，都需要修改数据整合程序。此外，数据接收方的核心数据模型(核心数据模型是指数据接收方自己内部的数据的结构和数据相互之间的关系)调整后，会导致两套数据整合程序都要做修改；

4.扩展不够方便：由于采用两套方案，无论是水平扩展(多数据库之间同步数据)，还是垂直扩展(多种数据源提供数据)都很困难。

发明内容

鉴于上述问题，本发明旨在减少多种数据格式对数据整合系统造成的维护困难、麻烦，并可以监控数据整合的细微变化情况。