[发明专利]数据交换适配器、异构系统之间数据同步系统和方法

说明书

本发明公开了一种数据交换适配器、异构系统之间数据同步系统和方法，涉及海量数据处理技术领域。通过这种基于星型模式设计思想，搭建一套座落在不同类型数据库或文件系统之间的数据交换适配器装置，可以有效实现不同异构系统之间进行海量数据同步，代替原有维护管理复杂的一系列数据导入导出工具所形成的网状数据同步方式。另外，本发明实施例提供了一套统一的开放式框架，支持二次开发，可以使用本方案所提供的DataIn（数据输入）插件和DataOut（数据输出）插件或者自定制自己所需的DataIn和DataOut插件，从而快速实现不同类型的数据库或文件系统之间的任意海量数据同步任务。

技术领域

本发明涉及海量数据处理技术领域，特别涉及一种数据交换适配器、异构系统之间数据同步系统和方法。

背景技术

在大型的业务生产系统应用场景中，经常存在有多种不同类型的数据库或文件系统，如Oracle、MySQL、SQL Server、Sybase、DB2、Informix、PostgreSQL、MongoDB、Redis、HDFS（Hadoop Distributed File System，Hadoop分布式文件系统）以及其他数据库或FS（File System，文件系统）等等，而且经常需要在它们之间进行海量数据的导入或导出等操作。目前面向不同类型数据库或文件系统成熟的数据导入导出工具很多，如MySQLDumper、OracleSQLLoader等，但这些工具一般只提供数据的导出或导入，且只支持一个或几个特定类型的数据库或文件系统。

后续随着业务系统的增加，不同类型库的引进与应用，都会导致对这些数据导入导出工具需求的线性增加。这样，我们就需要开发并维护一系列工具，来实现不同数据库或文件系统之间的数据同步，从而导致不同系统之间的数据同步呈现一种网状结构，如下图1所示，大大增加了系统的维护管理难度。

另外，这些工具有些是以文件方式（File）进行交换数据，有些是以管道方式（Pipe）中转数据，均不同程度地为数据同步带来额外开销，导致效率差异非常大。同时，很多工具也无法有效满足数据仓库系统ETL（Extraction、Transformation&Loading，数据提取、转换和加载）任务中常见的需求，比如时间格式转换、特殊字符转换、编码转换等等。

再者，有些时候，现实的情况期望我们在一个很短的时间间隔内，将一份数据从一个数据库导出，同时载入到多个不同类型的数据库或文件系统。

发明内容

鉴于上述存在的弊端，本发明实施例提供一种数据交换适配器、异构系统之间数据同步系统和方法，实现在不同异构系统之间进行海量数据同步，从而能够有效解决现有技术缺陷。

本发明实施例采用了如下技术方案：

本发明一个实施例提供了一种数据交换适配器，所述数据交换适配器包括：

任务调度管理器，用于进行数据系统之间数据同步任务的配置及调度；

数据输入插件管理器，包括分别与多种数据系统相对应的多个数据输入插件，用于获取所述任务调度管理器所配置的源数据输入任务，调用与所述源数据输入任务相匹配的数据输入插件，从源数据系统获取源数据资源，并载入到数据缓存管理器；

数据缓存管理器，用于为所述数据输入插件管理器载入的源数据资源分配存储空间，并缓存所述源数据资源；

数据输出插件管理器，包括分别与多种数据系统相对应的多个数据输出插件，用于根据所述任务调度管理器的调度计划，触发目的数据输出任务，并调用与所述目的数据输出任务相匹配的数据输出插件，从所述数据缓存管理器中读取对应的源数据资源，输出至目的数据系统。

所述数据输入插件管理器的数据输入插件还包括：

第一数据转换模块，用于在设置为启动状态下，根据所述任务调度管理器的配置，将源数据资源转换为目标数据系统支持的形式；