[发明专利]一种针对DB2数据仓库进行数据抽取、调度及展现的方法

说明书

技术领域

本发明是数据仓库应用领域中，针对复杂数据库模型和业务逻辑的应用需求，提出的如何快速进行数据抽取、调度及展现的方法。

背景技术

数据仓库是大型企业消除信息孤岛，实现信息共享，为领导层提供数据分析、决策辅助的重要信息系统。

在数据仓库应用领域，电信等行业的数据量通常有几百乃至上千TB，每天新增、更新的数据也接近TB级别。相对而言，整个系统涉及到的表数以千计。数据调度工作是整个数据仓库正常运行的基础，数据调度的准确性和及时性直接影响到数据仓库的正常应用，因此数据调度工作要求相当高，即需要在规定的时间内保证调度的正确执行，并解决相关异常情况。如何及时、准确、有效地实现数据的抽取、转换和装载，为上层应用提供支撑，需要研究开发一套行之有效的数据抽取、调度和展现方案。

发明内容

本发明要解决的技术问题是针对目前流行的数据仓库开发、调度和展现的流程缺陷，提供一种针对DB2数据仓库进行数据抽取、调度及展现的方法。

本发明针对DB2数据仓库进行数据抽取、调度及展现的方法，包括以下步骤：

（1）开发人员从开发任务服务器领取开发任务，根据数据仓库的数据模型，和业务逻辑，利用IBM客户端工具Design Studio，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件。解析DataStage可执行文件，提取、转换成可执行的SQL语句。将获得的SQL语句填充到预先设计好的存储过程模版中，然后更新开发任务服务器上的任务状态；

（2）开发任务服务器根据更新的任务状态，通知调度人员有新的调度开发任务，调度人员利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表，然后更新刷新任务服务器上的目标表调度完成状态；

（3）利用cognos多维cube刷新命令设计出自动刷新脚本。多维刷新进程定时查询刷新任务服务器上的目标表调度完成状态，对已调度完成的目标表，进行自动调度Cube刷新；

（4）如果自动调度Cube刷新失败，通过短信通知管理员。由管理员进行手工刷新，实现刷新数据的及时展现。 

附图说明

图1是本发明的流程图。图中，1，开始状态；2，利用Design Studio描述存储过程逻辑，并部署为DataStage可执行文件；3，解析DataStage可执行文件，提取、转换成可执行的SQL语句；4，将获得的SQL语句填充到预先设计好的存储过程模版中，生成存储过程；5，利用Powercenter工具快速开发调度任务，对生成的存储过程进行调度，生成目标表；6，定时扫描；7，是否刷新；8，生成刷新脚本；9，自动刷新脚本；10，自动执行是否成功；11，更新Cube信息表；12，短信通知；13，短信告警；14，手动管理；15，检索Cube信息表获得更新信息；16，生成并执行脚本；17，手工执行是否成功。

具体实施方式

下面结合附图对发明的技术方案进行详细说明：

如图1所示，针对后期运维需求设计好存储过程模板和日志表；借助IBM客户端工具Design Studio新建数据仓库工程，用图形方式描述存储过程逻辑，并部署为DataStage可执行文件；解析DataStage可执行文件，提取、转换成可执行的SQL语句；将提取的SQL语句填充到前期中设计好的存储过程模版中,生成存储过程。

然后利用Powercenter工具，进行调度逻辑的开发。ETL系统调度的设计思想是4级从上往下进行逐级管理控制，顶级是ETL系统总体控制，对源系统àSSA层àSORàBMLàDM这4层进行逐层管理调度，第二级是层控制，即每层的总体控制，第三级是域控制，即在每层中按数据抽取任务的业务类型进行按域分类控制，第四级即是详细的数据抽取任务，由Session和Procedure组成。最终生成目标表。