[发明专利]在目标服务器构建ETL系统的处理方法及装置有效
申请号: | 201410736286.X | 申请日: | 2014-12-04 |
公开(公告)号: | CN104462344B | 公开(公告)日: | 2018-04-03 |
发明(设计)人: | 储雨知 | 申请(专利权)人: | 北京国双科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京康信知识产权代理有限责任公司11240 | 代理人: | 李志刚,吴贵明 |
地址: | 100086 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 服务器 构建 etl 系统 处理 方法 装置 | ||
1.一种在目标服务器构建ETL系统的处理方法,其特征在于,所述ETL系统包括:临时数据库、源数据库和数据仓库,所述临时数据库为用于临时存储数据的数据库,所述源数据库为用于存储原始数据的数据库,所述数据仓库用于存储经过ETL处理后的数据,所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中,所述方法包括:
将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器;
在所述源服务器中获取所述临时数据库中临时表的脚本代码,其中,所述临时数据库包括所述临时表,所述脚本代码为用于创建所述临时表的代码;以及
根据所述脚本代码在所述目标服务器上创建目标临时数据库,
其中,根据所述脚本代码在所述目标服务器上创建目标临时数据库包括:
在所述目标服务器上创建目标数据库;以及
在所述目标数据库中执行所述脚本代码,得到临时表;
根据所述临时表构成所述目标临时数据库。
2.根据权利要求1所述的方法,其特征在于,将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器之前,所述方法还包括:
确定所述源数据库和所述数据仓库;以及
分别对所述源数据库和所述数据仓库进行配置,得到配置源数据库和配置数据仓库,其中,所述配置源数据库是用于将所述源数据库预先进行配置执行同步操作后的数据库,所述配置数据仓库是用于将所述数据仓库预先进行配置执行同步操作后的数据库。
3.根据权利要求2所述的方法,其特征在于,分别对所述源数据库和所述数据仓库进行配置包括:
分别获取所述源数据库和所述数据仓库中已有的配置指令,其中,所述配置指令为用于指示对所述源数据库和所述数据仓库进行预先配置执行同步操作的指令;以及
通过所述配置指令分别对所述源数据库和所述数据仓库进行配置,
或者,
接收外部输入的配置代码,其中,所述配置代码为用于对所述源数据库和所述数据仓库进行预先配置执行同步操作的代码;以及
根据所述配置代码生成的相应配置指令分别对所述源数据库和所述数据仓库进行配置。
4.根据权利要求1所述的方法,其特征在于,将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器包括:
分别针对所述源数据库和所述数据仓库获取第一预设代理程序,其中,所述第一预设代理程序为用于生成数据库快照的程序;
根据所述第一预设代理程序分别生成与所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;
分别针对所述源数据库和所述数据仓库获取第二预设代理程序,其中,所述第二预设代理程序为用于同步所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照;以及
根据所述第二预设的代理程序分别将所述源数据库相应的数据库快照和所述数据仓库相应的数据仓库快照同步至所述目标服务器。
5.一种在目标服务器构建ETL系统的处理装置,其特征在于,所述ETL系统包括:临时数据库、源数据库和数据仓库,所述临时数据库为用于临时存储数据的数据库,所述源数据库为用于存储原始数据的数据库,所述数据仓库用于存储经过ETL处理后的数据,所述临时数据库、所述源数据库和所述数据仓库均存储在源服务器中,所述装置包括:
同步单元,用于将所述源数据库和所述数据仓库分别从所述源服务器同步至所述目标服务器;
获取单元,用于在所述源服务器中获取所述临时数据库中临时表的脚本代码,其中,所述临时数据库包括所述临时表,所述脚本代码为用于创建所述临时表的代码;以及
创建单元,用于根据所述脚本代码在所述目标服务器上创建目标临时数据库,
其中,所述创建单元包括:
创建模块,用于在所述目标服务器上创建目标数据库;以及
执行模块,用于在所述目标数据库中执行所述脚本代码,得到临时表;
组成模块,用于所述临时表构成所述目标临时数据库。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京国双科技有限公司,未经北京国双科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410736286.X/1.html,转载请声明来源钻瓜专利网。
- 上一篇:动画的播放帧频调整方法及装置
- 下一篇:严寒地区混凝土伸缩缝施工养护方法