[发明专利]一种增量数据卸载和装载的实施工具

说明书

 

技术领域

本发明涉及一种数据管理的应用技术，具体地说是一种增量数据卸载和装载的实施工具。

背景技术

ETL，Extraction-Transformation-Loading的缩写，中文名称为数据提取、转换和加载。ETL是数据抽取（Extract）、清洗（Cleaning）、转换（Transform）、装载（Load）的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

目前数据ETL工具很多，虽然功能较多，但也有价格高和效率低的缺点。对于并不复杂的抽取逻辑和对数据量较大对效率要求较高的情况，使用一款便捷高效的数据抽取装载工具就显得尤为重要。

发明内容　　

　　本发明的技术任务是提供一种通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理，方便了应用系统的运维管理，并降低了实施难度的一种增量数据卸载和装载的实施工具。

本发明的技术任务是按以下方式实现的，通过配置文件结合SHELL脚本和数据库自带ETL工具实现了数据源的增量-全量判断抽取和装载处理；步骤如下：

（1）、设置配置文件、公共参数：通过配置文件对源数据库中待抽取表的内容和抽取方式进行描述；

（2）、运行抽取程序、状态记录：由抽取程序统一调度进行数据抽取，同时由状态记录程序记录抽取状态、抽取数据量的信息，抽取过程支持中断继续和自动压缩；

（3）、数据装载：由装载程序对数据进行装载，数据装载过程中进行增量-全量的判断并作全量处理和数据量核对检查。

配置文件格式为自定义文本，便于同SHELL脚本程序交互，并在其中设置数据源DB连接关键信息、抽取内容和全量或增量的抽取方式的要素。

CFG数据库配置文件如下：

vpms_dbinfo.cfg

#数据库服务名称

DB_NAME=rptdb

#数据库访问用户名

DB_USER_NAME=ods

#数据库访问密码

DB_USER_PASSWORD=ods

CFG抽取配置文件如下：

vpms_exp_tblist.cfg

#[ 一、交易流水类，提取当日全量（增量） ]

#1.1账务交易流水

+ODS_CMTXLHIS:A:select * from ODS.ODS_CMTXLHIS where CORPORATION='法人标示' and DAY_ID='?'

#[ 二、始终全量抽取的部分 ]

#1.8员工变更登记簿

+ODS_CMREPREP:A:

#1.3.个人（单位）客户信息档

+ODS_CICIFCIF:D:

#1.4客户 / 存放款帐号资料

+ODS_CICIFACN:D:select chg_acct_no(ci_acct_no),a.* from ODS.ODS_CICIFACN a where CORPORATION='法人标示'

#[ 三、支持增量抽取的加工全量的部分 ]

配置文件程序中，每行用冒号:分为4个部分

1)    第1部分表名称，用于抽取文本的命名,以加号+开头,且前面不能有空格空字符,

  这个加号+作为配置抽取项的标志；

2)    第2部分增量标志

  A：只取全量，表示不做本地增量→全量处理，

  I：只取增量，表示要做本地增量→全量处理，

  D：由参数指定是取全量或增量；

3)    第3部分抽取SQL语句，对于不同增量标志，此语句的含义分别是 ：

  A：代表全量抽取语句，

  I：代表增量抽取语句，

  D：代表全量或增量抽取语句，如果是增量，那么程序会自动加上DAY_ID的判断过滤条件；

 如果不填写默认为 select * from ${table_name} where CORPORATION='法人标示' ,要加上CORPORATION='法人标示'的条件，以限定数据范围；

4)    第4部分，查询表数据量的语句，用于核对，