[发明专利]一种基于服务总线的数据交换方法

说明书

技术领域

本发明涉及一种基于服务总线的数据交换方法，属于通信技术领域。

背景技术

随着信息时代的迅猛发展，结构化、半结构化、非结构化数据的长期积累，信息化系统的多样性造成的“数据孤岛”已然成为各行业的突出问题，数据间无法互联互通，数据库种类不一，数据结构定义混杂，面对庞大的数据资产无法使其发挥最大作用，数据资产得不到充分利用。现有的数据存储方式是单节点上的串行存储，单节点上存储容量有限，扩展后也是串行方式读取，磁盘I/O受限于单台节点。

数据交换是是各类业务数据采集工具之一，能够实现上下级业务数据之间的纵向数据交换，实现同级之间的统一的横向数据交换渠道，满足各种数据的交换要求。为了使各系统之间的基础数据得以共享,迫切需要设计一种数据交换方案来信息化系统的“数据孤岛”问题。

发明内容

针对上述不足，本发明提供了一种基于服务总线的数据交换方法，其能够有效实现数据间的互联互通，能够解决信息化系统的“数据孤岛”问题。

本发明解决其技术问题采取的技术方案是：一种基于服务总线的数据交换方法，其特征是，包括以下过程：

数据流的自动调度：以数据流形式进行多数据源的自动调度；

多源异构数据间的数据互联互通：对多源异构数据进行抽取转换，处理后数据与源数据进行交换；

数据的输入输出：将多源异构数据进行有效输入输出。

进一步地，所述数据流的自动调度过程包括以下步骤：

S11，定义作业：定义作业执行的开始时间，作业执行间隔时间，以及作业启动周期；

S12，定义作业执行程序：选择作业执行过程中需要调用的任务和顺序，根据顺序形成执行过程；

S13，启动作业：作业启动后，会根据预先定义的作业参数进行定时执行；

S14，作业异常处理：当作业执行过程中出现错误时，作业自动停止，并在错误位置重新执行，重新执行后如果仍有错误则显示红色标识块提示检查程序内容；

S15，作业执行完成：作业执行完成后相关数据已调用完毕，可从目标库中或文件中进行查找使用。

进一步地，所述多源异构数据间的数据互联互通过程包括以下步骤：

S21，定义数据源：设置数据库的登录用户名和密码，以及数据库中文件的访问路径；

S22，定义数据落地：对数据库的访问路径及登录用户名和密码进行测试，测试数据源连接是否正常，并进行多库抽取测试目标数据落地路径是否畅通；

S23，数据抽取：使用JDBC或程序接口方式提取数据源中的数据；

S24，数据清洗、整理：对数据进行筛选、过滤处理；

S25，数据转换：对数据进行转换，转为标准的数据格式；

S26，数据加载：根据业务需要将转换后的数据加载到数据库中，用于数据挖掘、统计分析展现；

S27，数据回传：对需要回传的数据加载后写回数据源，进行数据交互。

进一步地，所述的数据库包括MySQL、SQLServer和Oracle数据库。

进一步地，在步骤S24中，对数据进行筛选、过滤处理的过程包括空值处理、规范数据格式、拆分数据、验证数据的正确性和数据替换。

进一步地，所述的服务总线包括：

服务请求监听器：用于进行服务监听，接受来自客户端的数据请求；

服务定义模块：用于为数据服务提供接入口，按照不同业务、数据请求模式将数据服务划分为不同的数据服务；

接口控制模块：用于按照请求业务和数据的不同调用不同的服务接口；

日志监控模块：用于每次请求、响应后进行操作留痕，为日后数据追查、统计使用；

管道管理模块：用于为程序提供多种传输管道，进行处理不同服务业务请求；

服务解释处理器：用于根据请求的具体业务情况将数据提交到不同的数据传输管道中；

传输管道：用于将数据从数据源数据库进行数据抽取、加密、压缩、转换处理后保存到数据库中。

本发明的有益效果是：本发明从多数据源以数据流形式进行自动调度，抽取转换，经过处理的数据与源数据交换或转发到其他目标位置，将多源异构数据进行有效的输入输出，通过采用能够实现数据流自动调度和交换的服务总线，利用数据交换引擎收集并处理数据调用服务请求，通过数据接口实现数据的共享交换。使所有的业务数据互联互通，实现数据在系统中进行自动流转，可以方便参与上层的业务流程。

附图说明

下面结合说明书附图对本发明进行说明。

图1为本发明的方法流程图；