[发明专利]通用数据交换接口及其实现方法

说明书

技术领域

本发明涉及数据交换接口，尤其涉及通用数据交换接口及其实现方法，属于数据交换接口领域。

背景技术

信息是现代企业的重要资源，是企业运用科学管理、决策分析的基础。随着企业信息化建设的发展，企业内部积累了大量的业务数据。而企业的业务数据源通常分布在相互独立的各个子系统和节点中，且随着系统的增加，冗余的数据也越来越多。企业如何通过各种技术手段，并把数据转换为信息、知识，已经成为提高其核心竞争力的主要瓶颈。物联网技术，和互联网+，不断发展出现老系统接口融合和联动存在着无数跨系统的接口问题。

现在往往都是通过ETL工具，或者利用二次开发来实现。往往面临接口费的问题，有时候出现厂家恶意压制，不提供接口。现在的数据为了实现交换，都是把所有数据导入到一个数据库再统一访问这个数据库，或者效率很低的进行数据整合，从一个端口查询或利用非标准的WebService的方式进行开放。

发明内容

本发明所要解决的技术问题是提供一种通用数据交换接口，解决现有技术存在的接口不统一、不能灵活应用的问题。

为解决上述技术问题，本发明所采取的技术方案是：

本发明首先公开了一种通用数据交换接口，包括：

线程池模块：操作系统自带的多线程功能，可增加新的处理任务，安全重启失败的任务和取消未完成或未开始的任务，并且数据库访问任务，建立的新线程的卡死不会影响主程序稳定，同时部分任务完成后可以灵活释放系统资源。

脚本引擎模块：用于读取和输入GBK，utf-8，其他编码的java文本类。

转化规则模块：是个文本，一些用于描述对数据数据库的增、删、改、查、等操作以及对获得后的数据要做的组合规则，支持二次编辑，具有随时修改、重复利用的功能，具有脚本分享、协作开发的特性。

流程节点模块：是个文本，用于描述需要的数据库信息，例如账号，密码，地址等。

质量规则模块：是个文本，用于描述数据的质量要求、精度要求等等。

流程执行器模块：是一段程序，在需要的时候才会被触发，并是创建新线程的方式，不循环运行，不会发生卡死和过分占用cpu资源；将“转化规则”、“质量规则”、“节点信息”等，根据“节点信息”判断不同的数据库类型，并将“转化规则”转化为不同的数据库语言，并通过“数据处理层”分发到数据库节点当中，并等待数据库回应，再根据“转化规则”和“质量规则”重新组合数据。

数据处理层模块：是一个数据库适配器，里面是封装了各个厂家的jdbc驱动，可自由添加和自由扩展新的数据库支持，灵活扩展，用于和不同的数据库建立连接。

调度模块：调度是一个计时器，支持定时运行的功能和运行优先级的配置，既可以是系统自带的任务功能，或者时间功能，也可以是外部的能获取到时间数据的计时设备。

监控模块：是一个将整个程序正在做哪一步，正在做什么，失败与否的界面。

权限模块：是一个设置，是否允许用户修改，“调度”，“节点信息”，“转化规则”等一个设置。

元数据库与元数据库管理模块：元数据库是用java自带的数据库，Derby数据库，保存着软件本身的配置文件，支持导出和配置分享，用于保存设置和日志，管理工具也根据原版接口实现，。

接口层模块：是tcp请求入口，用于向本程序发送命令，执行某动作，获取某数据。

本发明进一步提供了应用所述通用数据交换接口读取数据的方法，包括：

用户通过数据处理流程管理接口与执行引擎连接创建回话id传入查询语句，执行引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程并根据规则去操作其他异构数据库和一些文件，读出原始数据；执行器根据加载的处理规则对原始数据进行包括加载相关脚本、加载相关规则、加载数据格式转换及执行查找在内的加工，将加工完成后的结果返回到执行引擎并最终返回到数据处理流程管理接口。

数据处理流程管理接口是连接到数据整合服务器上的服务监听器进行数据管理和数据查询流程，多数据库访问关系设计工作，设计提交数据到内部存贮元数据通过元数据管理器模块接受提交的请求保存在元数。数据库中控制器控制数据处理引擎的运行；处理引擎通过读取元数据管理器中获取元数据存取的顺序和规则后，调度执行相应需要运行的作业流程，根据规则去操作其他异构数据库和一些文件。

本发明进一步提供了所述通用数据交换接口的管理配置，包括：

接口层，用于连接端客户端管理工具和Mysql jdbc客户端；