[发明专利]一种基于微内核和异步队列的异构系统间数据发布系统

说明书

本发明公开了一种基于微内核和异步队列的异构系统间数据发布系统，使系统具备了根据自身发布需求，进行数据发布的功能，可以大大的提高了发布数据的效率，支持了多个系统对一份数据要求不同数据格式的情况，并且本发明在发布数据时将数据作为一个整体进行发布，提高了更新过程的稳定性和高效性，而异步队列功能保障了并发情况下发布数据的效率，中间库的存在降低了异构系统间的耦合性。

技术领域

本发明涉及数据发布系统技术领域，尤其涉及一种基于微内核和异步队列的异构系统间数据发布系统。

背景技术

中国在经历了大规模的信息化发展之后，企业的信息化水平和程度已有巨大提升。企业应用系统的规模也越来越大，内容也越来越全面和深入。随着这些系统的持续运行，异构系统间的数据交换越来越多，数据作为有价值的信息，变得越来越受到大家的重视。同时，由于各个企业系统的数据库类型和数据结构不同，统一的数据结构式数据交换已不能满足复杂的业务场景要求，需要一种基于微内核的设计思路，使数据系统需要根据不同的发布要求、不同的业务场景要求进行数据集的自定义配置，从而满足不同企业或不同业务系统的个性化需求。

发明内容

本发明的目的就在于为了解决上述问题而提供一种基于微内核和异步队列的异构系统间数据发布系统。

本发明通过以下技术方案来实现上述目的：

本发明包括

服务主体管理服部分提供了对数据接收系统进行管理和控制的功能，对数据发布到什么系统、数据权限、服务提供的有效期进行了规定和设置，数据发布人员可以根据每次发送的数据的不同选择不同的服务主体；

数据版本服务部分提供了对每次待发布的数据的版本生成机制，通过生成的版本可以对每次发布的数据进行查看，并通过此版本监控整个发布流程以及最终发布状态；

关联数据管理服务提供了在每次发布数据时将相关数据获取并打包为一个完整数据集合进行整体发布的功能；

队列调度服务提供了对要发布的任务进行自动调度，支持手动发布和设置工作日历进行自动发布的功能，同时，将发布任务根据类型的不同各自加入相对应的执行队列，按照先进先出的顺序执行相关任务，在任务等待和执行的过程中，允许人工干预，可以对任务进行终止，或者是提高优先级顺序的操作；

网络传输服务提供了将数据在进行加密、压缩、分包等方式处理后，通过网络发布到其他服务器的功能；

数据接收中间库服务提供了异构系统端数据接收和暂存功能，此服务在待接收系统的服务器上部署了数据接收中间库，将网络传输过来的数据暂存到此中间库中，进行数据格式、完整性，以及多表关联数据的检查，同时，此服务提供了可配置的定期备份功能；

异构系统数据同步扩展服务提供了向异构系统进行数据同步的扩展实现，支持数据从接收中间库传输到异构系统或标准中间库中的功能，从而实现可对接不同数据系统间的结构差异；

标准中间库服务提供了在异构系统不允许数据直接进入其数据库时，将数据暂存到标准中间库的功能。其中，数据接收中间库和标准中间库均可支持MySql、Oracle、SQLServer、SQLite等主流数据库类型。标准中间库还可支持HBase、HDFS等NoSql非结构化数据库存储方式。

本发明优选地，所述服务主体管理服务，将数据接收系统抽象成服务主体的概念，在服务主体上设置必要属性和权限，从而实现了对数据发布到什么地方以及数据权限的控制。

本发明优选地，数据版本服务，将每次数据发布作为一个版本进行管理，从而实现了从发布开始到发布结束，以及发布后查询的整个生命周期的管理。

本发明优选地，所述关联数据管理服务，在一次发布中将多张表中的数据关联起来一起发布，不再是单一的数据表的模式，而是以数据集的模式进行发布，可确保数据表间数据关系的一致性和完整性。