[发明专利]一种基于微内核和异步队列的异构系统间数据发布系统

摘要

本发明公开了一种基于微内核和异步队列的异构系统间数据发布系统，使系统具备了根据自身发布需求，进行数据发布的功能，可以大大的提高了发布数据的效率，支持了多个系统对一份数据要求不同数据格式的情况，并且本发明在发布数据时将数据作为一个整体进行发布，提高了更新过程的稳定性和高效性，而异步队列功能保障了并发情况下发布数据的效率，中间库的存在降低了异构系统间的耦合性。

主权项

1.一种基于微内核和异步队列的异构系统间数据发布系统，其特征在于包括：服务主体管理服部分提供了对数据接收系统进行管理和控制的功能，对数据发布到什么系统、数据权限、服务提供的有效期进行了规定和设置，数据发布人员可以根据每次发送的数据的不同选择不同的服务主体；数据版本服务部分提供了对每次待发布的数据的版本生成机制，通过生成的版本可以对每次发布的数据进行查看，并通过此版本监控整个发布流程以及最终发布状态；关联数据管理服务提供了在每次发布数据时将相关数据获取并打包为一个完整数据集合进行整体发布的功能；队列调度服务提供了对要发布的任务进行自动调度，支持手动发布和设置工作日历进行自动发布的功能，同时，将发布任务根据类型的不同各自加入相对应的执行队列，按照先进先出的顺序执行相关任务，在任务等待和执行的过程中，允许人工干预，可以对任务进行终止，或者是提高优先级顺序的操作；网络传输服务提供了将数据在进行加密、压缩、分包等方式处理后，通过网络发布到其他服务器的功能；数据接收中间库服务提供了异构系统端数据接收和暂存功能，此服务在待接收系统的服务器上部署了数据接收中间库，将网络传输过来的数据暂存到此中间库中，进行数据格式、完整性，以及多表关联数据的检查，同时，此服务提供了可配置的定期备份功能；异构系统数据同步扩展服务提供了向异构系统进行数据同步的扩展实现，支持数据从接收中间库传输到异构系统或标准中间库中的功能，从而实现可对接不同数据系统间的结构差异；标准中间库服务提供了在异构系统不允许数据直接进入其数据库时，将数据暂存到标准中间库的功能；其中，数据接收中间库和标准中间库均可支持MySql、Oracle、SQL Server、SQLite等主流数据库类型；标准中间库还可支持HBase、HDFS等NoSql非结构化数据库存储方式。