[发明专利]一种基于微内核和异步队列的异构系统间数据发布系统

权利要求书

1.一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于包括：

服务主体管理服务部分提供了对数据接收系统进行管理和控制的功能，对数据发布到什么系统、数据权限、服务提供的有效期进行了规定和设置，数据发布人员可以根据每次发送的数据的不同选择不同的服务主体；

数据版本服务部分提供了对每次待发布的数据的版本生成机制，通过生成的版本可以对每次发布的数据进行查看，并通过此版本监控整个发布流程以及最终发布状态；关联数据管理服务提供了在每次发布数据时将相关数据获取并打包为一个完整数据集合进行整体发布的功能；队列调度服务提供了对要发布的任务进行自动调度，支持手动发布和设置工作日历进行自动发布的功能，同时，将发布任务根据类型的不同各自加入相对应的执行队列，按照先进先出的顺序执行相关任务，在任务等待和执行的过程中，允许人工干预，可以对任务进行终止，或者是提高优先级顺序的操作；网络传输服务提供了将数据在进行加密、压缩、分包方式处理后，通过网络发布到其他服务器的功能；数据接收中间库服务提供了异构系统端数据接收和暂存功能，此服务在待接收系统的服务器上部署了数据接收中间库，将网络传输过来的数据暂存到此中间库中，进行数据格式、完整性，以及多表关联数据的检查，同时，此服务提供了可配置的定期备份功能；异构系统数据同步扩展服务提供了向异构系统进行数据同步的扩展实现，支持数据从接收中间库传输到异构系统或标准中间库中的功能，从而实现可对接不同数据系统间的结构差异；标准中间库服务提供了在异构系统不允许数据直接进入其数据库时，将数据暂存到标准中间库的功能；其中，数据接收中间库和标准中间库均可支持MySql、Oracle、SQL Server、SQLite主流数据库类型；标准中间库还可支持HBase、HDFS NoSql非结构化数据库存储方式。

2.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述服务主体管理服务，将数据接收系统抽象成服务主体的概念，在服务主体上设置必要属性和权限，从而实现了对数据发布到什么地方以及数据权限的控制。

3.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：数据版本服务，将每次数据发布作为一个版本进行管理，从而实现了从发布开始到发布结束，以及发布后查询的整个生命周期的管理。

4.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述关联数据管理服务，在一次发布中将多张表中的数据关联起来一起发布，不再是单一的数据表的模式，而是以数据集的模式进行发布，可确保数据表间数据关系的一致性和完整性。

5.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述队列调度服务，将数据发布的发起方式、执行顺序进行了控制，除了支持手动触发外，通过计划任务实现了自动发布的模式，同时增加了队列任务管理功能，将不同的类型的数据放到不同的队列中作为任务执行，避免了并发而造成的数据锁问题，还可以对队列中的任务进行提高优先级、删除功能。

6.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述网络传输服务，实现了将数据传输不同服务器上的需求，并在传输前过程中进行了压缩、加密、分包，从而提高了网络传输的快速、完整。

7.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述数据接收中间库服务，将传输的数据以数据库的形式进行中转，从而便于对数据进行备份和后续处理，提高了系统的稳定性和容错性，对于因网络不稳定原因导致的发布失败，可无需整理数据进行再次处理。

8.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述异构系统数据同步扩展服务，以微内核的设计思路，可以根据不同系统的数据要求，配置不同的数据处理方式进行数据的同步。

9.根据权利要求1所述的一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于：所述标准中间库服务，双方相互约定好中间库，发布方将数据放到中间库中，接收方可以从中间库中取数，从而实现了数据库间的隔离。