[发明专利]基于数据库的异构系统数据抽取及统一对外数据交换方法

说明书

本发明公开了基于数据库的异构系统数据抽取及统一对外数据交换方法，包括异构系统同步数据抽取、数据标准化和统一对外数据交换三个步骤，本发明能够同时在多个货类码头异构系统之间进行同步数据抽取工作。数据抽取后会进行数据清洗整理，经过数据标准化后放入中间数据库。码头方和外部单位都不需要关心数据标准的问题，这样能有效减少码头方和外部单位的工作，提升数据交换效率。

技术领域

本发明具体涉及基于数据库的异构系统数据抽取及统一对外数据交换方法。

背景技术

数据抽取及数据交换是两种信息化技术，数据抽取是指从源数据源系统抽取目的数据源系统需要的数据。而数据交换是指为了满足不同信息系统之间数据资源的共享需要，依据一定的原则，采取相应的技术，实现不同信息系统之间数据资源共享的过程。

数据抽取的方式有全量抽取和增量抽取，在实际商业应用中通常会使用数据抽取工具及技术，比如触发器、ODI、OWB、OGG、SharePlex、DataStage、Informatica、电子报文等。这些工具及技术在本质上都是使用“全量抽取+增量抽取”的方式完成工作，即在两个同构系统A、系统B之间，先采用全量抽取方式把A系统的数据全本复制到B系统，然后采用增量抽取方式把A系统在全量抽取后发生增加、删除、修改的数据复制到B系统。这些工具及技术的应用环境不同，各有所长。

数据交换的方式有电路交换、报文交换、分组交换、混合交换。在信息系统中一般采用报文交换方式，使用的数据交换工具及技术主要有直接读写数据库、FTP传输、WebService、消息中间件等。这些工具及技术的作用都是先把甲方系统的数据传输到乙方系统，然后再把甲方的数据转换成乙方系统的数据格式。在不同的实际应用环境下，这些工具及技术的数据传输效率、数据安全性、数据传输成本各不相同。

由于触发器、ODI、OWB、OGG、SharePlex、DataStage、Informatica、电子报文等工具及技术的应用环境不同，因此在不同的内部系统环境和外部信息链路环境下各有所长。在多个异构系统环境下，若只使用一种工具进行数据抽取工作可能会导致数据抽取成本过高、时效性较低的问题。比如系统A与系统C都是Oracle数据库，而系统B是MySQL数据库，若把系统A和系统B的数据抽取到系统C，虽然使用OGG就能完成所有工作，但是OGG的使用成本比较高。合适的做法是使用触发器完成系统AC的抽取工作，使用电子报文完成系统BC的抽取工作。

当数据交换双方需要在多个系统中进行数据交换时，使用单一工具通常会无法满足要求。比如码头公司的系统A与海关系统B需要节约传输成本而不需要实时交互，而码头公司的系统C与海关系统D需要实时交互而不需要节约传输成本，在这种情况下若单独使用FTP技术虽然能满足AB系统的要求但却无法满足CD系统的要求，若单独使用消息中间件技术虽然能满足CD系统的要求但却无法满足AB系统的要求。合适的做法是AB系统使用FTP技术，CD系统使用消息中间件技术。

发明内容

本发明的目的是为解决上述不足，提供基于数据库的异构系统数据抽取及统一对外数据交换方法，在数据抽取方面能针对不同的异构系统环境，使用针对性极强的数据抽取工具，在数据交换方面根据双方系统的交互要求而使用不同的数据交换工具。

本发明的目的是通过以下技术方案实现的：

基于数据库的异构系统数据抽取及统一对外数据交换方法，其特征在于：具体方法如下：

步骤一：异构系统同步数据抽取

货类码头按货类业务可分为集装箱业务码头、散杂货业务码头、油品业务业务码头、商品车业务码头、粮食业务码头等等，根据码头系统的数据库结构，使用最合适的数据抽取工具，同时在多个货类码头异构系统进行同步数据抽取工作：

（1）在传输简单数值时，如果不是复杂的关键节点数据项，使用触发器、电子报文；