[发明专利]一种基于管道的新式调度算法的分布式数据治理系统

说明书

本发明涉及数据治理技术领域，具体地说，涉及一种基于管道的新式调度算法的分布式数据治理系统。包括基础架构单元、管道调度单元、统一服务单元和数据管理单元；基础架构单元用于管理支持系统运行的网络架构；管道调度单元用于管理进程间通信管道的调度；统一服务单元用于对数据的统一标准化管理；数据管理单元用于对数据进行全面治理。本发明设计可以实现分布式的数据治理，提高系统的融合度、增强系统的延展性；可以提高数据交换过程的传输效果，提高数据的完整性和安全性；通过对数据进行集中的调度管理，其架构便于对系统进行节点扩展，可支持大用户高并发的访问，并可以实现数据全生命周期的可视化管理，缩短数据管理周期，减少成本浪费。

技术领域

本发明涉及数据治理技术领域，具体地说，涉及一种基于管道的新式调度算法的分布式数据治理系统。

背景技术

对于企业来说，最重要的资产是数据，即数据的核心价值可以理解为核心商业价值。实现数据价值就需要进行业务数据分析和价值挖掘，而只有干净完备的数据才能很好地呈现出数据价值。大多数传统型企业对于数据资源没有质量管理意识，也不懂得如何进行数据治理，导致数据质量很差，如数据缺失、数据孤岛、数据失真等，导致无法利用数据资源获取更多的商业价值。其中，导致数据质量差的很大原因在于，数据交换过程中，没有很好地创建数据传输通道并进行管理，且在数据交换过程中容易出现数据缺失、信息泄露等问题，进而导致后续的数据治理操作费时费力、治理效率低下。然而，目前却没有通过着重管理数据交换过程的数据治理系统平台，导致数据无法得到良好的汇集及调度，从而影响企业信息化系统的建设质量，制约了企业的发展。

发明内容

本发明的目的在于提供了一种基于管道的新式调度算法的分布式数据治理系统，以解决上述背景技术中提出的问题。

为实现上述技术问题的解决，本发明的目的之一在于，提供了一种基于管道的新式调度算法的分布式数据治理系统，包括

基础架构单元、管道调度单元、统一服务单元和数据管理单元；所述基础架构单元、所述管道调度单元、所述统一服务单元与所述数据管理单元依次通过网络通信连接；所述基础架构单元用于提供并管理支持系统运行的基础网络拓扑架构；所述管道调度单元用于提供并管理不同的进程间通信管道并进行分配调度；所述统一服务单元用于通过多项统一化的服务功能以实现企业对数据的统一标准化管理及分析利用；所述数据管理单元用于对数据进行质量管控及全面治理；

所述基础架构单元包括应用平台模块、数据源模块、技术支持模块和算法管理模块；

所述管道调度单元包括进程间通信模块、匿名管道模块、命名管道模块和轮询调度模块；

所述统一服务单元包括元数据管理模块、服务网关模块、数据存储模块和身份认证模块；

所述数据管理单元包括数据集成模块、数据交换模块、数据治理模块、主数据管理模块和数据应用模块。

作为本技术方案的进一步改进，所述应用平台模块、所述数据源模块、所述技术支持模块与所述算法管理模块依次通过网络通信连接且并列运行；所述应用平台模块用于以大数据和区块链技术为基础构建多功能的数据治理应用平台以实现人机交互；所述数据源模块用于在系统与各数据来源之间搭建信号连接及数据传输的通道并对数据源平台进行管理分配；所述技术支持模块用于载入多种智能技术以支持及完善系统的功能性；所述算法管理模块用于封装多种支持系统功能的智能算法。

其中，智能技术包括但不限于大数据技术、大数据分析技术、区块链技术、前后端分离技术等。

其中，智能算法包括但不限于智能调度算法、加密算法、共识算法、匹配算法等。