[发明专利]基于数据库的异构系统数据抽取及统一对外数据交换方法

摘要

本发明公开了基于数据库的异构系统数据抽取及统一对外数据交换方法，包括异构系统同步数据抽取、数据标准化和统一对外数据交换三个步骤，本发明能够同时在多个货类码头异构系统之间进行同步数据抽取工作。数据抽取后会进行数据清洗整理，经过数据标准化后放入中间数据库。码头方和外部单位都不需要关心数据标准的问题，这样能有效减少码头方和外部单位的工作，提升数据交换效率。

主权项

1. 基于数据库的异构系统数据抽取及统一对外数据交换方法，其特征在于：具体方法如下：步骤一：异构系统同步数据抽取货类码头按货类业务可分为集装箱业务码头、散杂货业务码头、油品业务业务码头、商品车业务码头、粮食业务码头等等，根据码头系统的数据库结构，使用最合适的数据抽取工具，同时在多个货类码头异构系统进行同步数据抽取工作：（1）在传输简单数值时，如果不是复杂的关键节点数据项，使用触发器、电子报文；（2）在传输复杂数值或复杂关键节点时，使用电子报文、SharePlex、ODI、OWB、OGG、InfoSphere DataStage、Informatica。使用这几种工具的原因是复杂数值或复杂关键节点通常都包含高价值数据；如果数据抽取工作的预算不足，只使用电子报文、SharePlex。（3）在异构数据库环境中，使用ODI、OGG、SharePlex、Infosphere DataStage、Informatica、电子报文，电子报文适合应用于数据交换双方都愿意付出工作量的应用环境中；（4）在使用触发器时，在低修改量的数据表中使用触发器；（5）在公共互联网环境中，使用电子报文时只需配套开发一个数据发送软件；（6）OWB对于异构数据库的支持比较弱，不太适合用于异构数据库的数据抽取工作，如果需要使用OWB，建议以ODI为主、OWB为辅的形式构建数据抽取工作体系；步骤二：数据标准化由于不同货类码头使用的数据字段信息不同，甚至不同码头对应同一个客户时使用的客户名称或客户代码都不同，因此，在与外部单位进行数据交换时，同一个外部单位对N个货类码头就有N次的数据转换工作，码头方不用进行数据转换，只需把数据直接交给中间数据库，由中间数据库进行数据标准化后，再与外部单位进行数据交换，使得原来的一对N交换变成一对一交换既能有效减少码头方和外部单位的工作，而且还提升了数据交换效率；步骤三：统一对外数据交换当数据完成标准化后会存储在中间数据库，所有的对外数据交换业务都统一由中间数据库生成交换报文，在实际应用中，不同的外部单位在数据交换时会使用不同的数据交换方式，因此，在对外数据交换时应该根据外部单位的实际应用环境，选用合适的数据交换工具；适应性方案如下：（1）在绝大部分的互联网传输环境下，使用FTP或者WebService。FTP由于需要接收方主动查询交换信息；而WebService是对话式交互，适用于实时应用环境；（2）WebService不适合应用于短时间大数据量的传输环境，另一方面，由于WebService需要把数据发送到位于外网的服务注册中心，因此不建议应用在内网环境；（3）FTP技术适合应用于日常通知性质的数据交换工作，如车辆出入闸信息、船舶到离港信息、货物堆存情况等等；（4）在内网环境中，使用消息中间件或FTP，消息中间件和FTP的主要区别包括实时性、极限访问量两方面。消息中间件式实时传输，而FTP无法做到实时传输；在内网环境中使用消息中间件+FTP的组合方式进行数据交换，消息中间件负责需要实时传输的信息，而FTP负责不需要实时传输的信息。（5）在低价值的数据项目中使用直接读写数据库的技术。