[发明专利]数据传输系统、方法和设备

权利要求书

1.一种数据传输系统，其特征在于，包括：预处理服务器和多个传输服务器，其中：

所述预处理服务器，用于接收第一数据库发送的待传输数据，按照预设规则将所述待传输数据划分为多个数据块，将所述多个数据块分配至所述多个传输服务器中当前具备传输能力的传输服务器；所述预设规则包括：在所述待传输数据为结构化数据的情况下，确定所述待传输数据中是否存在分布键，在确定所述待传输数据中存在分布键的情况下，将所述待传输数据按照分布键进行划分为多个数据块；

所述多个传输服务器，与所述预处理服务器进行通信连接，用于接收所述预处理服务器分配的数据块，将所述分配的数据块转换为第二数据库可识别的数据格式，并将转换后数据块并行发送至所述第二数据库。

2.根据权利要求1所述的数据传输系统，其特征在于，还包括：

备用服务器，与所述预处理服务器进行通信连接，用于在所述预处理服务器处于故障状态的情况下，接收第一数据库发送的待传输数据，按照预设规则将所述待传输数据划分为多个数据块，将所述多个数据块分配至所述多个传输服务器中当前具备传输能力的传输服务器。

3.根据权利要求1所述的数据传输系统，其特征在于，所述当前具备传输能力的传输服务器为存在在预设时间间隔内向所述预处理服务器发送心跳信息的传输进程的传输服务器。

4.根据权利要求1所述的数据传输系统，其特征在于，所述多个传输服务器中的各个传输服务器包括：

数据处理器，用于将所述分配的数据块转换为第二数据库可识别的数据格式；

调节器，用于根据所述第一数据库和所述第二数据库的数据传输能力，自适应调节数据传输速率；

传输器，用于根据调节后的数据传输速率，将转换后的数据块传输至所述第二数据库。

5.根据权利要求1所述的数据传输系统，其特征在于，所述多个传输服务器中的各个传输服务器包括：

多个磁盘，其中，所述多个磁盘与所在传输服务器中的传输进程是一一对应的关系。

6.一种基于权利要求1至5中任一项所述的数据传输系统的数据传输方法，其特征在于，包括：

接收第一数据库发送的待传输数据，并按照预设规则将所述待传输数据划分为多个数据块；

确定多个传输服务器中在预设时间间隔内向预处理服务器发送心跳信息的多个具备传输能力的传输进程的数量；

根据所述具备传输能力的传输进程的数量将所述多个数据块平均分配给多个具备传输能力的传输进程，形成多个传输任务；

所述多个传输服务器中多个具备传输能力的传输进程并行执行所述多个传输任务，以将所述待传输数据写入第二数据库。

7.根据权利要求6所述的方法，其特征在于，在所述多个传输服务器中多个具备传输能力的传输进程并行执行所述多个传输任务之后，还包括：

监测所述多个传输任务的执行情况；

在监测到所述多个传输任务中有传输任务执行失败的情况下，结束所述多个传输任务中各个传输任务的传输进程；

在预设时间内所述多个具备传输能力的传输进程重新并行执行所述多个传输任务。

8.根据权利要求6所述的方法，其特征在于，在接收所述第一数据库发送的待传输数据之后，还包括：

所述预处理服务器在预设时间间隔内向备用服务器同步所述待传输数据的传输信息；

实时监测所述预处理服务器的状态；

在监测到所述预处理服务器处于故障状态的情况下，获取所述预处理服务器发生故障的时间；

所述备用服务器根据距离所述预处理服务器发生故障的时间最近一次同步的所述待传输数据的传输信息继续进行数据传输。