[发明专利]一种数据库集群批量快速加载数据的方法及加载系统

权利要求书

1.一种数据库集群批量快速加载数据的方法，包括如下步骤：

(1)数据库集群中设置加载系统，客户端建立与加载系统的连接以后，发起批量加载请求给加载系统；

(2)加载系统接收到客户端的批量加载请求，获取加载数据，并获取数据的分布规则，执行数据预处理操作，然后将数据分发到数据库集群的每个集群节点；

(3)每个集群节点接收加载系统分发的数据并存储到本解决节点中，发加载成功响应给加载系统；

(4)加载系统接收到每个集群节点的加载成功响应以后，发加载成功响应给客户端；

(5)客户端接收到加载系统的加载成功响应，本次批量数据加载完成。

2.根据权利要求1所述的一种数据库集群批量快速加载数据的方法，其特征在于：所述步骤(1)中进一步包含以下处理，客户端通过配置文件的方式通知加载系统数据文件的位置；同时，配置文件中配置最大加载速度。

3.根据权利要求2所述的一种数据库集群批量快速加载数据的方法，其特征在于：所述步骤(2)中，进一步包含以下步骤：

a1、加载系统接收到客户端的批量加载请求以后，通过配置文件获取数据文件的位置，获取数据文件内容；

a2、加载系统与数据库集群系统建立连接，获取数据的分布规则，对数据进行清洗、过滤、按数据的分布规则切分数据并将切分后的数据对应到每个集群节点；

a3、加载系统与每个集群节点建立连接，将切分后的数据发送到对应的集群节点上。

4.根据权利要求1所述的一种数据库集群批量快速加载数据的方法，其特征在于：所述步骤(3)中，进一步还包含如下处理，如果某个或某几个集群节点加载数据失败，则发送数据加载失败响应消息给加载系统。

5.根据权利要求4所述的一种数据库集群批量快速加载数据的方法，其特征在于：所述步骤(4)中，进一步包含以下处理，如果加载系统接收到一个或者多个集群节点的加载数据失败响应，则加载系统发送rollback消息给加载成功的集群节点，回退本次加载的数据，然后发加载失败响应给客户端，保证集群数据的一致性。

6.根据权利要求1所述的一种数据库集群批量快速加载数据的方法，其特征在于：加载系统与数据库集群的每个集群节点连接方式为TCP/IP或者UDP/IP连接。

7.一种数据库集群批量快速加载数据的加载系统，其特征在于，包括：接口模块，用于提供与客户端和数据库集群的接口；数据获取模块，用于从客户端获取批量加载数据，以及从数据库集群获取数据的分布规则；数据预处理模块，用于对数据进行清洗、过滤、按数据的分布规则切分数据；数据加载模块，用于将预处理后的数据分发到数据库集群的每个集群节点；消息处理系统，用于接收数据库集群节点的加载成功响应，并发送加载成功响应至客户端。

8.根据权利要求7所述的一种数据库集群批量快速加载数据的加载系统，其特征在于，所述数据获取模块设有配置文件读取单元，用于读取客户端发送的配置文件，获取数据文件的位置，获取数据文件内容。

9.根据权利要求7所述的一种数据库集群批量快速加载数据的加载系统，其特征在于，所述消息处理系统还设有加载失败处理单元，用于接收一个或者多个集群节点的加载数据失败响应，然后发送rollback消息给加载成功的集群节点，回退本次加载的数据，然后发加载失败响应给客户端，保证集群数据的一致性。

10.根据权利要求7所述的一种数据库集群批量快速加载数据的加载系统，其特征在于，所述接口模块中与数据库集群的接口为TCP/IP或者UDP/IP。