[发明专利]数据集成方法和系统

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据集成方法和系统。

背景技术

随着计算机技术的迅猛发展和信息化的推进，使得人类社会所累积的数据量超过了过去数千年的总和，数据的采集、存储、处理和传播的数量也与日俱增。

目前在企业平台中，由于开发时间或开发部分的不同，往往有多个异构的、运行在不同软硬件平台上的信息系统同时运行，这些信息系统的数据彼此独立、相互封闭，形成“信息孤岛”，使得数据难以在这些信息系统之间进行交流、共享和融合。为解决这一问题，人们开始研究数据集成。数据集成就是把不同来源、不同格式、不同特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享。在数据集成中，提供数据的信息系统称为源系统。在数据集成中，接收数据的信息系统称之为目标系统。

传统技术中，数据集成有Web service技术、FTP（File Transfer Protocol，文件传输协议）文件、消息队列（MQ，Message queen）等实施方式。然而这些技术需要在服务端和客户端进行复杂部署和配置，对操作人员要求也比较高，因此传统技术实施成本和维护成本比较高。

发明内容

基于此，有必要提供一种数据集成方法和系统，应用本方法和系统，能够降低部署和配置的复杂度，降低数据集成的实施成本和维护成本。

一种数据集成方法，包括：

目标系统服务器配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；

所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据；

所述客户端将所述中间数据传输至所述目标系统服务器；

所述目标系统服务器将所述中间数据转换为目标数据，并保存在目标系统数据表中。

在其中一个实施例中，在所述客户端获取所述指令集的步骤之前，所述方法还包括：

所述客户端接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。

在其中一个实施例中，所述目标系统服务器配置数据集成规则，包括：

所述目标系统服务器设置所述源系统的关联数据表信息；

所述目标系统服务器设置源系统基础数据与目标系统基础数据的映射关系；

所述目标系统服务器设置源系统业务数据与目标系统业务数据的映射关系；

所述目标系统服务器设置所述中间数据与所述目标数据转换规则；

所述目标系统服务器设置调度策略，所述调度策略包括所述客户端从所述目标系统服务器获取所述指令集的第一频率，以及所述目标系统服务器将所述中间数据转换为所述目标数据的第二频率。

在其中一个实施例中，所述客户端获取所述指令集，并根据所述指令集从源系统数据表中获取数据进行处理得到中间数据，包括：

所述客户端根据所述调度策略，按照第一频率从所述目标系统服务器获取所述指令集；

所述客户端根据所述源系统的关联数据表信息，将所述源系统中的多个基础数据表或业务数据表进行关联；

所述客户端从所述多个基础数据表或业务数据表取数据，并根据所述源系统基础数据与目标系统基础数据的映射关系，以及源系统业务数据与目标系统业务数据的映射关系，对所取的数据进行处理得到中间数据。

在其中一个实施例中，所述客户端从所述多个基础数据表或业务数据表中取数据，包括：

所述客户端创建增量表，在所述增量表中记录所取数据的数据标识。

在其中一个实施例中，所述目标系统服务器将所述中间数据转换为目标数据，包括：

所述目标系统服务器根据所述中间数据与所述目标数据转换规则，按照所述第二频率将所述中间数据转换为目标数据。

一种数据集成系统，包括：源系统和目标系统；所述源系统包括客户端、源系统数据库；所述目标系统包括目标系统服务器、目标系统数据库；

所述目标系统服务器，用于配置数据集成规则，并根据所述数据集成规则创建客户端所要执行的指令集；

所述客户端，用于获取所述指令集，并根据所述指令集从所述源系统数据库中获取数据进行处理得到中间数据；

所述客户端，还用于将所述中间数据传输至所述目标系统服务器；

所述目标系统服务器，还用于将所述中间数据转换为目标数据，并保存在所述目标系统数据库中。

在其中一个实施例中，所述客户端还用于接收代理配置信息进行配置，所述代理配置信息包括源系统信息和目标系统信息。