[发明专利]一种配置实现数据加载项shell的管理方法及系统

说明书

技术领域

本发明涉及一种配置实现数据加载项shell的管理方法及系统，属于数据库与shell编程领域。

背景技术

Oracle大数据量的加载往往是通过sqlloader来加载的。

sqlloader的加载需要满足以下条件：a、创建一个对应表的ctl文件；b、准备入库的数据文件；c、执行sqlloade命令的shell文件。

定时加载数据则需要将上述sqlloader所需的条件都在执行前准备好，然后通过将执行sqlloade命令的shell文件挂到crontab上面，定时执行。

目前数据加载shell脚本都是单一的脚本，也就是有一个数据文件接口就要编写一个对应的shell、ctl文件，同时需要将此脚本挂到crontab上面。如果后期需要对版本进行升级改造，就需要修改针对需要改造的每一个shell脚本。这样，不但需要重复开发不同的脚本，对于大量的脚本也不好维护，对于软件的开发与维护都不方便。

另外大量的shell脚本如果需要手动执行，会很不方便。而且对于执行后的情况也不明了，每次执行完后，都需要对各个脚本的执行结果进行检查。造成后期维护成本的浪费。

传统开发模式存在以下缺点：

(1)开发工作繁琐：每增加一个数据文件接口就需要同时编写一个shell脚本、一个CTL文件，而且在测试环境以及生产环境的环境变量也不尽相同，所以同一个脚本在测试和在生产也不完全一样，测试上面测试通过之后还要在生产上面修改再进行测试，工作十分繁琐。

(2)工作重复性强：每增加一个数据文件接口就需要同时编写一个shell脚本、一个CTL文件，但是每一个shell脚本的结构内容都大致相似，那开发人员每开发一个shell脚本，都有80％的重复性动作。

(3)后期维护困难：每个脚本都需要逐一的执行，执行完毕后还需要针对各个脚本的不同结果进行检测，查看脚本执行的是否准确。

发明内容

本发明所要解决的技术问题是提供一种提升效率、实现开发人性化的通过数据库配置实现数据加载项shell的管理方法。

本发明解决上述技术问题的技术方案如下：一种配置实现数据加载项shell的管理方法，具体包括以下步骤：

步骤1：加载各个脚本用于创建配置表，配置表中保存数据相关信息；

步骤2：创建shell脚本，shell脚本调用配置表中数据相关信息，执行sqlloader处理数据相关信息得到加载数据，将加载数据导入数据库；

步骤3：根据名称对应关系调用配置表中对应数据库中加载数据的操作语句；

步骤4：执行操作语句，得到反馈数据；

步骤5：将反馈数据发送到配置表中的对应字段中，完成对数据加载项shell的管理。

本发明的有益效果是：通过配置表对资源、个性化操作语句的统一管理，对各个需要开发的脚本进行统一配置、统一管理，减少工作繁复程度，每增加一个数据文件接口不需要开发shell脚本以及CTL文件，只需要配置数据表即可；通过配置表的执行结果管理，对各个脚本进行统一维护，减少后期维护工作，开发完毕之后，后期人员只需要维系配置表即可，不需要再维护每一个shell脚本，同时在crontab也不会因脚本的增加而改变。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述步骤1中创建配置表采用的方法是统一对各个脚本的对应字段进行配置，使得通过配置表即可统一管理与维护需要加载的数据，并通过统一的脚本进行执行。

进一步，所述步骤2中shell脚本调用配置表中的信息时，每次调用一条。

进一步，所述配置表中包括ctl文件、表名、数据文件名和数据库名称等内容。

进一步，所述配置表中还包括记录数据脚本携带的数据条数、加载失败的数据条数、已经加载成功的数据条数以及加载开始时间与加载结束时间等信息。

采用上述进一步方案的有益效果是，让后期维护人员在一个表中可以看到所有的数据加载情况，大大的减少了后期维护工作。

本发明所要解决的技术问题是提供一种提升效率、实现开发人性化的通过数据库配置实现数据加载项shell的管理系统。

本发明解决上述技术问题的技术方案如下：一种配置实现数据加载项shell的管理系统，包括配置表模块、操作模块、调用模块、执行语句模块和反馈模块；

所述配置表模块用于加载各个脚本用于创建配置表，配置表中保存数据相关信息；