[发明专利]基于事务日志分析的单导系统中oracle数据库同步技术在审
申请号: | 201710626175.7 | 申请日: | 2017-07-27 |
公开(公告)号: | CN109947841A | 公开(公告)日: | 2019-06-28 |
发明(设计)人: | 杨育斌;曹土光;黄家俊;柯宗贵 | 申请(专利权)人: | 成都蓝盾网信科技有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27;G06F16/17 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 610000 四川省成都市高*** | 国省代码: | 四川;51 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 事务日志 同步技术 分析 调用 | ||
本发明公开了基于事务日志分析的单导系统中oracle数据库同步技术,该发明使用分析oracle数据库事务日志的方法,调用oracle的工具logminer分析事务日志,实现单导系统中内外端oracle数据库同步。
技术领域
本发明涉及一种互联网通信技术领域,特别涉及基于事务日志分析的单导系统中oracle数据库同步技术。
背景技术
单导系统是一种数据信息网络安全隔离系统,具有数据信息的单向导入功能。单导系统由内端和外端组成,外端模块TX只发送数据,内端模块RX只接收数据,数据信息只能从单导外端导入到单导内端。
单导系统的oracle数据库同步要实现两个安全隔离的网络的跨平台的数据库信息单向同步,实现过程是单导的数据库同步模块从外端oracle数据库获取数据生成数据文档,由单导系统发送模块将文档传入单导内端,再由单导内端的数据库同步模块把数据同步到目标数据库。
由于单向隔离特性不能使用数据库自带外部连接功能来传递数据库数据,现在常用的技术大多是通过触发器或select查询获取数据,本方案综合考虑各中实现方式优劣,采用解析oracle事务日志的方式,分析操作数据,生成的数据写入文档,再由单导系统进行同步。
发明内容
为克服上述现有技术的不足,解决现有技术中单导系统中oracle数据库同步采用触发器或选择数据同步方案会对源数据库造成巨大负担和压力的缺点,采用单导外端结合oracle提供的logminer工具分析oracle事务日志,解析出操作数据,转换成json格式发送到单导系统内端,再组装成sql语句同步到目标数据库的方案,实现单导系统获取oracle数据库数据时占用源数据库资源少和对源数据库造成压力和负担减到最小的目的。根据单导系统的特点,该发明分成单导外端和单导内端部分。
单导外端部分包括:
1.源数据库环境配置:在源数据库安装logminer工具,把oracle数据库设置成归档模式;
2.oracle日志读取模块:通过代码生成shell脚本调用logminer的方式对oracle数据库事务日志进行读取解析生成sql格式数据,并把数据写入本地文件;
3.日志格式转换模块:把日志读取模块获取的sql格式数据转换成统一的json格式;
4.外端数据发送模块:用于把数据发送到单导内端。单导内端部分包括:
1.内端数据接收模块:用于接收单导外端发送过来的数据;
2.数据格式转换模块:把从外端接收到的json格式数据转换成对应的sql格式;
3.数据库同步模块:把转换模块得到的sql格式语句同步到目标数据库。
本发明技术方案带来的有益效果:
本发明中使用的事务日志解析法进行单导系统的数据库同步,能够最少的占用源数据库资源,由于绕过了对源数据库的操作,纯粹对二进制的日志流进行解析,获取数据的速度快,完全能够满足当前各种oracle大型生产环境数据库的同步要求,而且安全可靠,不会遗漏任何数据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明提出的实施流程图;
具体实施方式
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于成都蓝盾网信科技有限公司,未经成都蓝盾网信科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710626175.7/2.html,转载请声明来源钻瓜专利网。
- 上一篇:告警数据展示方法和装置
- 下一篇:分布式存储系统中的数据存储方法、装置及系统