[发明专利]一种实时数据传输系统及其数据同步方法

说明书

本发明适用于数据处理领域，提供了一种实时数据传输系统及其数据同步方法，所述方法包括：数据导入服务器在接收到数据同步指令时，通过传输代理模块向数据适配器发送数据请求；数据适配器从数据源读取数据，并将读取的数据通过传输代理模块发送至数据导入服务器；数据导入服务器从传输代理模块接收数据，并将接收的数据导入在线服务模块。本发明由于统一通过数据适配器从数据源读取数据，通过传输代理模块将数据适配器读取的数据转发至数据导入服务器，因此，在需要扩容时，只需要增加数据适配器和/或传输代理模块，使得实时数据传输系统具有较好的扩展性，从而可以实现海量数据的同步。

技术领域

本发明属于数据处理领域，尤其涉及一种实时数据传输系统及其数据同步方法。

背景技术

实时数据传输系统（也称为实时数据传输平台）具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点，因此广泛应用于互联网应用领域，如日志收集、数据监控、广告反馈、量子统计、数据库同步等。

现有的实时数据传输系统包括TimeTunnel等。TimeTunnel一般采用3台服务器。在将TimeTunnel应用于淘宝网来处理数据时，3台服务器每天处理的数据量约为2.3T，峰值约为每秒50Mb的流入流量，130Mb的流出流量。

现有的TimeTunnel由于扩展性受到限制，从而难以支持海量数据的处理。且由于TimeTunnel每台服务器本身的峰值流出流量为350Mb，而在将TimeTunnel应用于淘宝网时，每台服务器每秒的流出流量约为130Mb，因此，服务器带宽利用率偏低。另外TimeTunnel不支持格式化数据的修复，因此数据传输的可靠性较低。

发明内容

本发明实施例提供一种实时数据传输系统及其数据同步方法，旨在解决现有的数据传输系统由于可扩展性受到限制而导致难以对海量数据进行处理的问题。

一方面，提供一种实时数据传输系统，包括第一互联网数据中心和第二互联网数据中心，所述第一互联网数据中心包括数据源和至少一个数据适配器，所述第二互联网数据中心包括至少一个传输代理模块，至少一个数据导入服务器，以及与数据导入服务器连接的在线服务模块；

其中所述数据适配器从所述数据源中读取数据，并将读取的数据通过所述传输代理模块转发至所述数据导入服务器，所述数据导入服务器将接收到的数据导入所述在线服务模块。

另一方面，提供一种实时数据传输系统中的数据同步方法，所述方法包括：

数据导入服务器在接收到数据同步指令时，通过传输代理模块向数据适配器发送数据请求；

数据适配器从数据源读取数据，并将读取的数据通过传输代理模块发送至数据导入服务器；

数据导入服务器从传输代理模块接收数据，并将接收的数据导入在线服务模块。

在本发明实施例中，统一通过数据适配器从数据源读取数据，通过传输代理模块将数据适配器读取的数据转发至数据导入服务器，因此，在需要扩容时，只需要增加数据适配器和/或传输代理模块，使得实时数据传输系统具有较好的扩展性，从而可以实现海量数据的同步。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的实时数据传输系统的结构框图；

图2是本发明实施例提供的数据导入服务器的具体结构图；

图3是本发明另一实施例提供的实时数据传输系统的结构框图；