[发明专利]多数据源之间的数据传输方法及其装置

说明书

技术领域

本发明涉及数据交互技术领域，特别涉及一种多数据源之间的数据传输方法及其装置。

背景技术

目前数据传输工具较多，但一般都限定于一个或几个特定的数据源例如：数据库、文件系统。在不同系统之间进行数据交换时，通常采用xml文件的方式，即双方约定统一的xml文件模板格式，由发送方按照格式生成xml文件，通过FTP或者直接发送文件到接收方指定的端口，接收方解析收到的xml文件，转化为本系统的数据格式。

但是，当在不同数据源之间传输数据时，需要使用多种工具才能完成这一工作，而现有的工具不具备自定义开发的能力，扩展性差，各个工具的使用方法不同，效率也有差异，从而无法较好地满足各种不同数据源之间的数据传输。

发明内容

针对现有技术的上述缺陷，本发明所要解决的技术问题是如何降低数据源之间的耦合度，以实现不同数据源之间通用的数据传输。

为实现上述目的，一方面，本发明提供一种多数据源之间的数据传输方法，该方法包括步骤：

S1、加载配置文件，读取并解析配置文件；

S2、根据解析出的配置文件，创建不同的数据配置对象；

S3、根据不同的数据配置对象，读取来源数据区中不同的数据，并将读取出的数据写入数据缓冲区；

S4、读取数据缓冲区中的数据，并将读取出的数据写入目标数据区。

优选地，所述方法中步骤S2具体包括：

根据解析出的配置文件，创建并行度构造不同的数据配置对象，以实现根据不同的数据配置对象读取不同的数据。

优选地，所述数据缓冲区为环形缓冲区，所述环形缓冲区拥有一个序号，该序号指向所述环形缓冲区的数组中下一个可用的元素，在每执行完一次数据操作后该序号顺序递增。

优选地，所述方法中步骤S3具体包括：

根据不同的数据配置对象，读取出来源数据区中的不同的数据，实现数据的并行读取，并将读取出的数据写入环形缓冲区。

另一方面，本发明还同时提供一种多数据源之间的数据传输装置，该装置包括：

配置文件模块，用于加载配置文件，读取并解析配置文件；

分割模块，用于根据解析出的配置文件，创建不同的数据配置对象；

数据读取模块，用于根据不同的数据配置对象，并行读取来源数据区中的数据，并将读取出的数据写入数据缓冲区；

数据写入模块，用于读取数据缓冲区的数据，并将读取出的数据写入目标数据区。

优选地，所述数据读取模块进一步包括：

多个数据读取器，用于读取来源数据区的数据，并将数据写入数据缓冲区，不同的数据读取器使用不同的数据读取对象，读取出来源数据区中的不同的数据，实现数据的并行读取，并将读取出的数据写入环形缓冲区。

优选地，所述数据写入模块进一步包括：

多个数据写入器，用于将来源数据区中不同的数据写入目标缓冲区。

优选地，所述数据缓冲区为环形缓冲区，用于在不同上下文之间传递数据，环形缓冲区拥有一个序号，该序号指向环形缓冲区的数组中的下一个可用的元素，在每执行完一次数据操作后该序号顺序递增。

本发明实现了高速数据传输，可满足异构数据源的数据传输。本发明方法实现数据接收和发送双方的隔离，降低数据源之间的耦合度，以实现不同数据源之间通用的数据传输。

附图说明

图1是本发明一个实施例中的多数据源之间的数据传输方法的流程示意图；

图2是本发明另一个实施例中的多数据源之间的数据传输装置的结构示意图。

具体实施方式

为使本领域技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明作进一步详细描述。

现有技术中的数据传输工具一般都限定于一个或几个特定的数据源，例如：数据库、文件系统。当在不同数据源之间传输数据时，就需要使用多种工具才能完成这一工作，而且各个工具的使用方法不同，效率也有差异。现有的工具不具备自定义开发的能力、扩展性差，无法较好地满足各种不同数据源之间的数据传输。本发明采用框架和插件的架构，框架相当于数据缓冲区，对外提供统一的服务接口，而多种插件则使用这些接口实现对不同数据源的访问。其中，框架实现了缓冲、并发、配置等通用的功能，而插件只需要实现对数据源数据的读取和写入，针对不同的数据源开发相应的插件，即可实现任意数据源之间的高速数据传输。

图1是本发明的一个实施例中的多数据源之间的数据传输方法的流程示意图，如图1所示，该方法包括：