[发明专利]一种基于管道的新式调度算法的分布式数据治理系统

权利要求书

1.一种基于管道的新式调度算法的分布式数据治理系统，其特征在于：包括

基础架构单元（100）、管道调度单元（200）、统一服务单元（300）和数据管理单元（400）；所述基础架构单元（100）、所述管道调度单元（200）、所述统一服务单元（300）与所述数据管理单元（400）依次通过网络通信连接；所述基础架构单元（100）用于提供并管理支持系统运行的基础网络拓扑架构；所述管道调度单元（200）用于提供并管理不同的进程间通信管道并进行分配调度；所述统一服务单元（300）用于通过多项统一化的服务功能以实现企业对数据的统一标准化管理及分析利用；所述数据管理单元（400）用于对数据进行质量管控及全面治理；

所述基础架构单元（100）包括应用平台模块（101）、数据源模块（102）、技术支持模块（203）和算法管理模块（204）；

所述管道调度单元（200）包括进程间通信模块（201）、匿名管道模块（202）、命名管道模块（203）和轮询调度模块（204）；

所述统一服务单元（300）包括元数据管理模块（301）、服务网关模块（302）、数据存储模块（303）和身份认证模块（304）；

所述数据管理单元（400）包括数据集成模块（401）、数据交换模块（402）、数据治理模块（403）、主数据管理模块（404）和数据应用模块（405）。

2.根据权利要求1所述的基于管道的新式调度算法的分布式数据治理系统，其特征在于：所述应用平台模块（101）、所述数据源模块（102）、所述技术支持模块（203）与所述算法管理模块（204）依次通过网络通信连接且并列运行；所述应用平台模块（101）用于以大数据和区块链技术为基础构建多功能的数据治理应用平台以实现人机交互；所述数据源模块（102）用于在系统与各数据来源之间搭建信号连接及数据传输的通道并对数据源平台进行管理分配；所述技术支持模块（203）用于载入多种智能技术以支持及完善系统的功能性；所述算法管理模块（204）用于封装多种支持系统功能的智能算法。

3.根据权利要求2所述的基于管道的新式调度算法的分布式数据治理系统，其特征在于：所述进程间通信模块（201）的信号输出端与所述匿名管道模块（202）、所述命名管道模块（203）的信号输入端连接，所述匿名管道模块（202）与所述命名管道模块（203）并列运行，所述匿名管道模块（202）、所述命名管道模块（203）的信号输出端与所述轮询调度模块（204）的信号输入端连接；所述进程间通信模块（201）用于以内存为媒介在内核中开辟一块缓冲区来实现进程间数据交换的通信；所述匿名管道模块（202）用于通过调用pipe函数在具有血缘关系的进程间创建匿名管道以提供单向通信；所述命名管道模块（203）用于通过调用mknod或mkfifo命令在任意两个进程间创建系统可见的命名管道以实现两个进程间的通信；所述轮询调度模块（204）用于通过轮询方式来进行管道的调度以实现管道调度的负载均衡。

4.根据权利要求3所述的基于管道的新式调度算法的分布式数据治理系统，其特征在于：所述轮询调度模块（204）中，调度算法的类型包括轮询调度算法及在此基础上改进的权重轮询调度算法，其中：轮询调度算法适用于服务器组中的所有服务器都有相同的软硬件配置并且平均服务请求相对均衡的情况，权重轮询调度算法适用于服务器组中各台服务器的配置、安装的业务应用、处理能力不一样的情况；则权重轮询调度算法中，权重分配的计算表达式为：

式中，为服务器使用负载。