[发明专利]基于XML的多源异构数据整合系统

说明书

本发明公开了一种基于XML的多源异构数据整合系统，该系统包括：应用服务层、数据服务接口层、数据源集成层以及数据库系统层；其中，所述应用服务层通过所述数据服务接口层所提供的接口实现不同用户应用的扩展；所述数据服务接口层实现与所述数据源集成层的实时交互操作及反馈结果数据的获取，并对外提供适当的API；所述数据源集成层用于屏蔽分布式数据源采集操作的具体实现细节，以及响应所述数据服务接口层提出的操作请求；所述数据库系统层实际由物理位置相邻或不相邻的若干关系型数据库组成，用以提供系统所需的多源异构数据信息。

技术领域

本发明属于大数据整合技术领域，涉及一种基于XML的多源异构数据整合系统。

背景技术

在信息量快速增长的今天，处理分布式数据成为研究的热点。其中，异构数据的集成是分布式平台发展的关键技术，此技术的应用给企业节约了成本和提高了生产效率。

目前，大多数的研究都集中在海量数据集成的研究上，数据集成框架主要是针对分布式复杂系统，技术实现复杂，而针对一些业务较为简单，数据量不是很大的系统，数据集成技术研究则较少。

现有研发技术往往存在以下不足：没有尽可能多的兼容不同分布形式或不同物理平台的数据源，后期扩展性差；无法对现有的数据提供必要的安全保护策略；不能对外提供适当的API；缺乏独立性。

发明内容

本发明目的在于提供一种基于XML的多源异构数据整合系统，针对数据仓库和联邦数据库解决数据集成的复杂性和成本过高的特点，引入Java语言的跨平台性及XMLSchema语言能支持用户对数据类型进行扩展的特性，有效地屏蔽了分布式数据源平台的差异，实现了分布式数据源的描述及分布式数据的整合。

为解决上述技术问题，本发明采用如下的技术方案：一种基于XML的多源异构数据整合系统，该系统包括：应用服务层、数据服务接口层、数据源集成层以及数据库系统层；其中，所述应用服务层通过所述数据服务接口层所提供的接口实现不同用户应用的扩展；所述数据服务接口层实现与所述数据源集成层的实时交互操作及反馈结果数据的获取，并对外提供适当的API；所述数据源集成层用于屏蔽分布式数据源采集操作的具体实现细节，以及响应所述数据服务接口层提出的操作请求；所述数据库系统层实际由物理位置相邻或不相邻的若干关系型数据库组成，用以提供系统所需的多源异构数据信息。

进一步地，所述数据服务接口层选择Java作为其实现平台，利用Java RMI框架封装底层的Socket操作实现分布式端和全局端通信。

进一步地，所述数据源集成层包含数据源自主注册、数据源对象及其物理位置描述的Schema设计、全局数据的Schema设计与数据服务几个功能。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对数据仓库和联邦数据库解决数据集成的复杂性和成本过高的特点，引入Java语言的跨平台性及XML Schema语言能支持用户对数据类型进行扩展的特性，屏蔽了分布式数据源平台的差异，实现了分布式数据源的描述及分布式数据的整合。

附图说明

图1是基于XML的多源异构数据整合系统的整体框架图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。