[发明专利]数据加载装置和数据加载方法

说明书

技术领域

本发明涉及计算机数据处理技术领域，更具体地，涉及一种数据加载装置、数据加载方法和数据库集群系统。

背景技术

在数据库集群系统中，为了提高数据访问的性能，往往采用一定的划分策略将数据表分布到多个数据库节点上。因此在数据写入的时候，必须按照这些数据的划分策略，对数据进行划分并写入到相应的数据库中。常见的数据划分策略可以包括哈希Hash划分、范围Range划分、列表List划分和轮询Round划分。三种数据划分对查询处理和系统实现的比较如表1所示。

表1三种数据划分方式的比较

  Range划分  Round划分  Hash划分  全表扫描  好  好  好  节点查询  中  差  好  范围查询  好  中  差  负载均衡  差  好  好  实现难度  容易  容易  较难

当需要加载的数据量较大时，通常采用批量加载(Batch)的方式提高数据写入性能，即每次提交一个批次的数据(比如说1000条数据)，而不是单条数据库记录的写入操作。批量加载是目前提高数据加载性能的最佳方法，但是在需要使用数据划分策略的情况下，每一批数据首先要进行划分，这在数据库集群系统中的数据库节点数较多时，经常存在以下两个问题：

(1)客户端提交的每批数据被划分后，不同数据库节点的数据量不均衡；

(2)一批数据被划分后，对应到每个数据库节点的数据量较小，难以发挥批量加载的性能优势。

由于上述两个问题的存在，影响了现有数据库集群系统的数据写入的性能。

发明内容

针对现有技术中存在的问题，本发明提供了一种数据加载方法和数据加载装置，使得能够提高数据写入数据库集群系统的性能

根据本发明的一个方面，提供了一种数据加载方法，包括：

将要加载数据按照设置的数据划分策略划分成多个数据部分，并为所述多个数据部分分配不同的数据库节点；

基于为所述多个数据部分分配的数据库节点将所述多个数据部分分别存储到多个本地缓存部分中，其中，所述多个本地缓存部分相互独立且每个本地缓存部分对应一个数据库节点；

检测到所述多个本地缓存部分中的一个本地缓存部分存储的数据量超过第一数据量阈值时，将该本地缓存部分中的数据加载到与该本地缓存部分对应的数据库节点中。