[发明专利]一种快速向数据库加载数据的方法

权利要求书

1.一种快速向数据库加载数据的方法，其特征在于：

在数据文件写入数据库的过程中，采用并行方式加载数据文件；在加载过程中采用直接写入方式，在生成元组后直接将元组写入数据库的数据文件中。

2.如权利要求1所述的快速向数据库加载数据的方法，其特征在于：

在加载所述数据文件之前，首先制作配置文件，在所述配置文件中根据数据库服务器的硬件条件设置并行线程的数量。

3.如权利要求1所述的快速向数据库加载数据的方法，其特征在于：

在采用直接写入方式时，不进行事务检查。

4.如权利要求1所述的快速向数据库加载数据的方法，其特征在于：

在数据文件写入数据库的过程中，实时维护数据库表的索引。

5.如权利要求1所述的快速向数据库加载数据的方法，其特征在于：

在数据文件写入数据库的过程中，待数据加载结束后重新生成数据库表的索引。

6.如权利要求2或4或5所述的快速向数据库加载数据的方法，其特征在于：

所述索引的处理方式在所述配置文件中设置。

7.如权利要求2～5中任意一项所述的快速向数据库加载数据的方法，其特征在于：

在数据库管理系统解析所述配置文件并创建加载环境后，首先解析所述数据文件，依照所述数据文件的类型由读取线程读取符合数据库表的一条数据，将该条数据写入数据槽内，并将该数据槽传输给解析线程；所述解析线程将数据解析为数据库识别的基本类型并放入数据槽中，合成线程从所述数据槽中读取数据并合成元组；在合成元组之后，根据所述配置文件中的写入方式以及索引处理方式对元组进行写入操作。

8.如权利要求1或2所述的快速向数据库加载数据的方法，其特征在于：

在所述数据文件加载过程中如果出现异常情况，根据所述配置文件判断是否忽略该异常，若忽略该异常则读取线程跳过该条数据继续加载下一条数据，如果不忽略该异常则退出数据加载过程。

9.如权利要求8所述的快速向数据库加载数据的方法，其特征在于：

在退出数据加载过程后，如果不保留已经加载的数据，则对数据库表进行操作，使已经加载的数据不可见。