[发明专利]数据加载方法以及数据加载装置

说明书

技术领域

本发明涉及计算机数据处理技术领域，更具体地，涉及一种数据加载方法以及数据加载装置。

背景技术

随着信息技术的发展，数据量呈现爆炸式增长的趋势。海量数据处理系统一方面要求数据到来时能够尽快入库，这就要求在加载时对数据各方面的检查和判断尽量简单。而另一方面对数据的快速检索的需求，要求所有的数据有规律地存储，并且根据常用查询和检索条件建立索引，以便能在需要的时候快速得到查询结果。如果在数据加载的同时对其进行索引和存储方面的优化，势必需要分析和计算入库数据的特征，并根据这些特征进行有序组织，这样就大大限制了数据的写入速度，使得数据高速加载和按序组织(索引更新等操作)之间存在矛盾。

发明内容

为解决现有技术存在的问题，本发明提供了一种数据加载方法和数据加载装置，使得能够提高数据加载的效率。

根据本发明的一方面，提供了一种数据加载方法，包括：

步骤A，将要加载数据批量加载到临时数据表中；

步骤B，根据预设定的时间间隔将所述临时数据表中的数据置换到中间数据表中；

步骤C，对置放到所述中间数据表中的数据创建索引；以及

步骤D，将已创建索引的数据从所述中间数据表置换到目标数据表中。

在可选实施例中，所述临时数据表和目标数据表中按时间范围进行分区且分区策略相同，其中，Part_n分区用于存储时间标志在(T_n-1，T_n]之间的数据，其中，T_n-1表示上一周期的末时刻，T_n表示当前周期的末时刻，n＞1，Part_n分区表示当前分区；

步骤A包括：根据数据中所带的时间标志将按时间顺序到达的数据写入到临时数据表中的Part_n分区；

步骤B包括：将所述临时数据表中的Part_n分区的数据置换到第一中间数据表中；

步骤C包括：在所述第一中间数据表上为所述第一中间数据表中的数据建立索引；以及

步骤D包括：将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Part_n分区中。

在可选实施例中，所述临时数据表和所述目标数据表按时间范围进行分区且分区策略相同，其中，Part_n-1分区用于存储时间标志在(T_n-2，T_n-1]之间的数据，Part_n分区用于存储时间标志在(T_n-1，T_n]之间的数据；所述临时数据表包括Part_n-1分区，Part_n分区，Part_n+1分区，…，Part_n+k分区；目标数据表中分区根据设计要求而定；其中，T_n-1表示上一周期的末时刻，T_n表示当前周期的末时刻，Part_n分区表示当前分区，n＞1，k＞0；

步骤A包括：根据数据中所带的时间标志将按时间顺序到达的数据写入到临时数据表中的Part_n分区，以及将延迟到来的数据写入到Part_n-1分区；

步骤B包括：将所述临时数据表中Part_n分区的数据置换到第一中间数据表中，以及，将所述临时数据表中Part_n-1分区的数据置换到第二中间数据表中；

步骤C包括：在所述第一中间数据表上为所述第一中间数据表中的数据建立索引，

步骤D包括：将已建立索引的所述第一中间数据表中的数据置换到所述目标数据表中的Part_n分区中；以及

在步骤B之后还包括步骤：将所述第二中间数据表中的数据插入到所述目标数据表中的Part_n-1分区中。

在可选实施例中，所述数据加载方法在步骤A之后还包括：

在接收到不在中间数据表建立索引的指示时，将临时数据表中的数据置换到目标数据表中；以及，在所述目标数据表中为所述数据创建索引。

根据本发明的另一方面，还提供了一种数据加载装置，包括：

初始加载单元，用于将要加载数据批量加载到临时数据表中；