[发明专利]巨量数据一次性快速写入数据库的方法

说明书

技术领域

本发明涉及数据库系统应用领域，具体涉及一种巨量数据一次性、快速写入数据库方法。

背景技术

当前，计算机越来越普及，应用面也越来越广。随着信息系统的广泛应用，由于文件在冗余度、操作方便性等方面的限制，使用数据库存取数据是一种较为普遍的方式。既然用数据来存到数据，开发人员永远无法回避的一个问题就是向数据库写入数据。由于数据库管理系统的性能越来越高，使得存取少量数据的速度较快，但是当瞬间写入巨量数据到数据库的时候，数据库管理系统还是需要一定的时间来处理，而这时间有时候是用户难以忍受的。

为了解决上述问题，我们提出了一次性、快速写入巨量数据到数据库方法。

发明内容

本发明的目的是提供一种巨量数据一次性快速写入数据库的方法。

本发明的目的是按以下方式实现的，支持方法的系统结构包括：临时表生成和处理单元，临时表和目的表处理单元，其中：

临时表生成和处理单元是核心，根据写入的数据量，动态生成临时表，并把数据写入到生成的临时表中；

临时表是暂时存放写入数据的中间体；

目的表处理单元判断计算机负载情况，负载较低时，从临时表中取得数据，写入到目的表中，具体操作步骤如下：

当巨量数据要写入数据库中的目的表时，先通过临时表生成和处理单元，根据写入的数据量，先动态生成多个临时表，并且把表名写到临时名称表中，然后启动多个线程把数据分组写到各个临时表中，由于是写入多个表，所以能在较短时间内完成，目的表处理单元自动判断计算机负载情况，系统空闲时，执行写入目的表操作，先从临时名称表中读取出来临时表的表名，然后根据表名，循环从每个表中读取出来所有记录，写入到目的表中，至此，完成操作。

临时表生成和处理单元根据数据量动态生成的，临时表的个数由写入数据量决定的，临时表的表名会单独存在临时名称表中。

目的表处理单元自动判断计算机负载情况，系统空闲时执行，执行完成后，删除所有临时表，清空临时名称表。

本发明的优异效果是：解决大量数据一次性写入数据库时速度较慢的问题，通过动态生成多个临时表，达到加快数据写入速度，进而实现快速写入。

附图说明

附图1为现有技术的写入大量数据的数据流图；

附图2为基于动态临时表的一次性、快速写入巨量数据到数据库的数据流图。

具体实施方式

参照说明书附图对本发明的方法作以下详细地说明。

下面参照附图2，对本发明的内容以一个具体实例来描述实现这一方法的过程。

正如发明内容中所描述的，本发明的体系结构主要包括：临时表生成和处理单元，临时表，目的表处理单元。其中：

临时表生成和处理单元是该方法的核心，根据写入的数据量，动态生成临时表，并把数据写入到生成的临时表中。

临时表是此方法中的一个中间体，暂时存入写入的数据。

目的表处理单元判断系统负载情况，系统空闲时，从临时表中取得数据，写入到目的表中。

一次性、快速写入巨量数据到数据库中的实现方式或操作步骤描述如下：

当巨量数据要写入数据库中的目的表时，先通过临时表生成和处理单元，根据写入的数据量，先动态生成多个临时表，并且把表名写到临时名称表中，然后启动多个线程把数据分组写到各个临时表中。由于是写入多个表，所以能在较短时间内完成。目的表处理单元自动判断计算机负载情况，系统空闲时，执行写入目的表操作。先从临时名称表中读取出来临时表的表名，然后根据表名，循环从每个表中读取出来所有记录，写入到目的表中，至此，完成操作。