[发明专利]一种基于大数据服务的治理及应用系统

说明书

本发明涉及大数据治理技术领域，且公开了一种基于大数据服务的治理及应用系统，包括：运行有数据采集管理系统服务端软件的采集管理服务器CMSbds，运行有大数据查询系统服务端软件的应用服务器ASbds，运行有非实时类结构化数据采集系统服务端软件且配置有Hive数据库的采集服务器集群CSCrtuda，运行有实时类结构化数据采集系统服务端软件且配置有HBase数据库的采集服务器集群CSCrtsdc，运行有半结构化及非结构化数据采集系统服务端软件且配置有HDFS数据库的采集服务器集群CSCssauda。本发明解决了如何对大数据进行集成和统一管理的技术问题。

技术领域

本发明涉及大数据治理技术领域，具体为一种基于大数据服务的治理及应用系统。

背景技术

大数据服务融合了大数据、云计算、移动互联网等新一代信息技术，通过各数据服务主体之间的交互协作，将以数据为基础的各类资源进行虚拟化和服务化，为用户提供从基础数据资源获取、存储、组织、挖掘、分析、决策到后续的服务评估、管理、安全等全过程的数据生态服务，是一种全新的数据信息服务模式。

鉴于大数据多源异构化的特点，如果大数据服务平台没有统一规划和数据标准，那么将导致采集的数据难以集成和统一管理。

因此，如何做好大数据治理，成为建设大数据服务平台亟待解决的关键问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供一种基于大数据服务的治理及应用系统，以解决如何对大数据进行集成和统一管理的技术问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：

一种基于大数据服务的治理及应用系统，包括：运行有数据采集管理系统服务端软件的采集管理服务器CMSbds，运行有大数据查询系统服务端软件的应用服务器ASbds；

还包括：运行有非实时类结构化数据采集系统服务端软件且配置有Hive数据库的采集服务器集群CSCrtuda，运行有实时类结构化数据采集系统服务端软件且配置有HBase数据库的采集服务器集群CSCrtsdc，运行有半结构化及非结构化数据采集系统服务端软件且配置有HDFS数据库的采集服务器集群CSCssauda；

所述采集管理服务器CMSbds分别与采集服务器集群CSCrtuda、采集服务器集群CSCrtsdc和采集服务器集群CSCssauda进行相互之间的通信连接；

所述应用服务器ASbgs分别与采集服务器集群CSCrtuda、采集服务器集群CSCrtsdc和采集服务器集群CSCssauda进行相互之间的通信连接；

所述应用服务器ASbds通过防火墙与外部业务系统进行数据交互。

2.根据权利要求1所述的基于大数据服务的治理及应用系统，其特征在于，所述采集服务器集群CSC上的所述数据采集系统在采集数据时的采集方法如下：

Step1，数据采集系统获取采集服务器集群CSC的采集通道的总数量Nt、以及每个采集通道分配的数据源节点信息；

Step2，数据采集系统判断采集服务器集群CSC的采集通道中是否存在未分配到数据源采集节点的采集通道；

若否，即不存在，则返回Step1；

若是，即存在，则执行步骤Step3；

Step3，数据采集系统获取可采集的数据源节点的总数量Mt；

Step4，数据采集系统计算任一个数据源节点理论上可分配的平均采集通道数量[Nt/Mt]；

Step5，数据采集系统获取任一个数据源节点DSNi上实际运行的采集通道的数量Ni；