[发明专利]将文件拆分后并行加载数据入库的方法

权利要求书

1.一种将文件拆分后并行加载数据入库的方法，使用Oracle提供的数据装载工具SQL Loader将大数据量的文件中的数据加载入库，其特征在于，包括以下步骤：

S1：读取控制文件和数据文件，生成日志文件、坏文件和废弃文件；

S2：配置数据装载工具SQL Loader的参数；

S3：根据配置参数，判断需要加载的文件的记录数是否大于参数配置的记录限额值，如果是，则执行步骤S4；如果否，则执行步骤S6；

S4：根据参数配置的子文件记录数值将需要加载的文件顺序拆分为n个子文件；

S5：启动数据装载工具SQL Loader的m个子进程对子文件进行并行加载，每个子进程对多个子文件进行串行加载；

S6：对文件进行普通加载。

2.根据权利要求1所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S4具体为：判断所述参数配置的子文件记录数值是否大于300000，如果是，则将文件顺序拆分为n个子文件，其中第一个到第n-1个子文件中的记录数为所述参数配置的子文件记录数值；如果否，则将文件顺序拆分为n个子文件，其中第一个到第n-1个子文件中的记录数为300000。

3.根据权利要求1所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S3中，所述参数配置的记录限额值为500万。

4.根据权利要求1所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S4中的拆分是用操作系统命令实现的。

5.根据权利要求2所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S4中的所述n值为999。

6.根据权利要求5所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S5中的所述m值不大于10。

7.根据权利要求6所述的将文件拆分后并行加载数据入库的方法，其特征在于，步骤S5中的所述m值为10，每个子进程最多对100个子文件进行串行加载。