[发明专利]基于数据库的异构系统数据抽取及统一对外数据交换方法

权利要求书

1.基于数据库的异构系统数据抽取及统一对外数据交换方法，其特征在于：具体方法如下：

步骤一：异构系统同步数据抽取

货类码头按货类业务可分为集装箱业务码头、散杂货业务码头、油品业务码头、商品车业务码头、粮食业务码头，根据码头系统的数据库结构，使用最合适的数据抽取工具，同时在多个货类码头异构系统进行同步数据抽取工作：

（1）在传输简单数值时，如果不是复杂的关键节点数据项，使用触发器、电子报文；

（2）在传输复杂数值或复杂关键节点时，使用电子报文、SharePlex、ODI、OWB、OGG、InfoSphereDataStage、Informatica；使用这几种工具的原因是复杂数值或复杂关键节点通常都包含高价值数据；如果数据抽取工作的预算不足，只使用电子报文、SharePlex;

（3）在异构数据库环境中，使用ODI、OGG、SharePlex、InfosphereDataStage、Informatica、电子报文，电子报文适合应用于数据交换双方都愿意付出工作量的应用环境中；

（4）在使用触发器时，在低修改量的数据表中使用触发器；

（5）在公共互联网环境中，使用电子报文时只需配套开发一个数据发送软件；

（6）OWB对于异构数据库的支持比较弱，不太适合用于异构数据库的数据抽取工作，如果需要使用OWB，建议以ODI为主、OWB为辅的形式构建数据抽取工作体系；

步骤二：数据标准化

由于不同货类码头使用的数据字段信息不同，甚至不同码头对应同一个客户时使用的客户名称或客户代码都不同，因此，在与外部单位进行数据交换时，同一个外部单位对N个货类码头就有N次的数据转换工作，码头方不用进行数据转换，只需把数据直接交给中间数据库，由中间数据库进行数据标准化后，再与外部单位进行数据交换，使得原来的一对N交换变成一对一交换既能有效减少码头方和外部单位的工作，而且还提升了数据交换效率；

步骤三：统一对外数据交换

当数据完成标准化后会存储在中间数据库，所有的对外数据交换业务都统一由中间数据库生成交换报文，在实际应用中，不同的外部单位在数据交换时会使用不同的数据交换方式，因此，在对外数据交换时应该根据外部单位的实际应用环境，选用合适的数据交换工具；

适应性方案如下：

（1）在绝大部分的互联网传输环境下，使用FTP或者WebService；FTP由于需要接收方主动查询交换信息；而WebService是对话式交互，适用于实时应用环境；

（2）WebService不适合应用于短时间大数据量的传输环境，另一方面，由于WebService需要把数据发送到位于外网的服务注册中心，因此不建议应用在内网环境；

（3）FTP技术适合应用于日常通知性质的数据交换工作，包括车辆出入闸信息、船舶到离港信息、货物堆存情况；

（4）在内网环境中，使用消息中间件或FTP，消息中间件和FTP的主要区别包括实时性、极限访问量两方面;消息中间件式实时传输，而FTP无法做到实时传输；在内网环境中使用消息中间件+FTP的组合方式进行数据交换，消息中间件负责需要实时传输的信息，而FTP负责不需要实时传输的信息;

（5）在低价值的数据项目中使用直接读写数据库的技术;

其中，所述的触发器是关系型数据库中一种保证数据完整性的工具，触发器是与表事件相关的特殊的存储过程，由事件来触发，使用触发器进行数据抽取工作时，必须搭配使用数据文件生成工具；

所述的SharePlex是通过从Oracle日志读取数据库的所有变化信息，传输到目标数据库解析成SQL进行装载，整个过程严格遵守数据一致性的顺序，在目标数据库通过主键技术保障数据一致性；

所述的电子报文是电子数据交换的重要载体之一，是有关双方按照电子数据交换协议和规定，把具有一定结构特征的标准信息，按照约定的文件格式生成的一种电子文档，使用电子报文进行数据抽取的方法，其实就是双方事先约定一套数据内容格式，然后一方通过直接读取数据表中数据项的方式来生成电子报文，最后通过通信网络传输给另一方，由另一方进行数据解析后写入系统中，电子报文比较常用的格式有XML、JSON，XML用于标记电子文件使其具有结构性的标记语言，XML提供统一的方法来描述和交换独立于应用程序的结构化数据，因此非常适合Web传输；JSON是一种轻量级的数据交换格式，易于人阅读和编写，也易于机器解析和生成；

所述的直接读写数据库的方法是指两个独立系统通过连接同一个数据库服务器的同一张表进行数据交换，这张表一般称为中间表，当独立系统A请求独立系统B处理数据的时候，独立系统A先向中间表插入一条数据，然后独立系统B通过数据查询从中间表中读取这条数据进行处理；

所述的FTP方法就是建立一个ftp服务器，并且为不同的系统分配账号、密码、目录的操作权限，数据交换双方先约定好数据格式、文件命名方式、存放路径规则，当交互时，一个系统按约定的时间将数据写入ftp目录中，另一个系统定期取走并进行相应的业务操作；

所述的Web Service是一种可以接收从Internet或者Intranet上的其它系统中传递过来的请求，轻量级的独立的通讯技术；

所述的消息中间件的方法其实就是使用Java消息服务来进行数据交换，Java 消息服务是message数据传输的典型的实现方式，独立系统A、独立系统B通过一个消息服务器进行数据交换，当系统A发送消息到消息服务器时，如果系统B订阅了系统A发送的消息，则消息服务器会把消息推送给系统B。