[发明专利]一种数据抽取和数据集成方法及其系统

说明书

技术领域

本发明涉及一种基于安全数据传输中间件技术的数据抽取和数据集成方法及其系统，属于网络通信领域；本发明具有高安全性、高传输率、高可靠性等优点，为企业提供决策上的精确数据。

背景技术

随着企业信息化的不断提高，企业内部积累了大量的业务数据。这些业务数据具有相互独立、分散性，不同的业务系统之间的数据也不能很好的共享，因此，对这些相互独立、分散的数据进行统一处理以满足企业高层决策与分析需要，成为企业信息化建设面临的重大挑战。基于安全数据传输中间件技术的数据抽取和数据集成系统，其主要作用在于对各类不同的业务数据进行清理、标准化和汇总，为基于数据仓库的决策分析应用提供高质量的数据。目前，越来越多的企业正在构建数据仓库来满足其战略决策需要，而采用数据抽取和数据集成系统进行数据集成，也已成为企业实施数据仓库项目的首选方案。数据仓库是决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库研究和解决从数据库中获取信息的问题。数据仓库中的数据是对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。因此，在数据仓库的构建中，数据抽取和数据集成贯穿于项目始终，在整个数据仓库项目中起着十分关键的作用。

目前典型的数据仓库解决方案中大多数具有数据抽取、清洗、转换、装载的过程。但是，在这四个过程中，当前的数据仓库解决方案没有考虑到其安全性。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于安全数据传输中间件技术的数据抽取和数据集成方法及其系统，可以实现大量数据的抽取和集成，同时可以整合不同系统之间的数据，使得抽取到的数据可以安全、可靠、高效的传输到集成系统，各集成系统共享抽取数据，并可以根据需要提供相应的决策信息。

本发明采用如下方案：

一种基于安全数据传输中间件技术的数据抽取和数据集成方法，其步骤为：

1)设置一命名服务器和一数据库服务器。同时设置若干个数据抽取节点和一个数据集成节点；对于命名服务器，数据库服务器以及抽取节点和集成节点分别安装和部署在不同的主机上，采用分布式结构，降低系统瓶颈，提高系统性能。

2)所述数据抽取节点和数据集成节点向所述命名服务器发送本节点信息，所述命名服务器将接收的节点信息发送给所述数据库服务器；

3)所述命名服务器根据抽取节点的MAC地址、数据集成节点的MAC地址，使用哈希算法计算出哈希值分配给所述数据抽取节点和数据集成节点的ID，并将ID分配信息发送给数据库服务器；

4)所述数据集成节点向所述命名服务器发送查询数据抽取节点列表信息，用于将抽取节点列表返回给集成节点。命名服务器接收到所述数据集成节点的查询抽取节点列表请求消息后，通过查询数据库服务器中的抽取节点，将可用于抽取的节点作为结果返回给数据集成端。

5)所述数据集成节点向所述返回结果中的数据抽取节点发查询各个所述数据抽取节点的所有数据库中表的请求消息。

6)所述数据抽取节点接收到所述数据集成节点的查询消息，连接本地数据库，将本地数据库中所有用户表的基本信息包括数据库类型，待发送的数据库名称，数据库表名称，表字段信息等内容发送给所述数据集成节点；

7)所述数据集成节点收到抽取端的数据源信息后，根据抽取端的名称和数据源的名称在本地数据库系统中为所述抽取端节点建立临时数据库，数据库表。在这一过程中，数据集成节点将与所述数据集成端的数据库类型不同的所述抽取端的数据库转换成所述数据集成端的数据库类型。此时数据集成端的表结构同抽取端的数据库表结构一致，因此在以后的抽取表内容时不必进行格式转换等工作。以此类推，这样可以将分布在不同地点的数据抽取端的信息复制到集成端，这样集成端在以后的操作中实质上是对本地数据进行操作，又因为集成端使用的是统一的一个数据库，所以不必进行相应的数据转换，直接操作即可。所述数据集成节点根据接收到的所述数据抽取节点发送来的数据库中用户表的基本信息，按照所述数据集成节点用户需求，发送获取数据库中表的值消息，抽取相应的数据库表中部分数据或全部数据内容。

8)所述数据抽取节点根据所述数据集成节点的所需内容，查询本地数据库表，并返回相应的内容，并将其存储到相应的临时数据库中，同时更新数据库表；

9)所述数据集成节点根据抽取来的数据库表内容，按不同的需求做相应的操作，数据集成节点登录的角色不同，所做的相应操作不同，来确保数据抽取和数据集成的安全性。