[发明专利]基于Hadoop集群的数据集市管理系统及其使用方法

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于Hadoop集群的数据集市管理系统及其使用方法、电子设备和计算机可读介质。

背景技术

随着企业业务的扩展，运营管理和生产过程中会产生大量的数据，而能否高效快速地对这些数据进行分析和计算直接影响到大数据在应用中的价值和作用。大数据管理的方式之一是使用基于Hadoop集群技术(Hadoop是一种分布式系统基础架构，可用于实现分布式文件系统，Hadoop集群就是将大量的数据分布到不同的机器上进行处理)建立数据集市或数据仓库来对数据进行管理，其中，数据市集一般指小型的分析型数据库，为了对从各种繁杂业务中抽象出来的分析主题(如用户、成本、商品等)进行分析而建立，具有很高的集成性。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

数据集市缺乏有效管理，对其进行访问等操作时，需要去数据库底层获取数据集市的配置信息，过程繁琐耗时；数据集市的元数据信息管理薄弱，时效性差；用户对数据库进行访问时操作路径过长，降低了数据的使用效率，数据集市欠缺集数据管理、数据计算和元数据管理于一体的自动化管理系统，使用户能够快速高效的从数据集市中查询所需数据。

发明内容

有鉴于此，本发明实施例提供一种基于Hadoop集群的数据集市管理系统，能够对基于Hadoop集群的数据集市进行数据管理、数据计算和元数据管理于一体的自动化管理，降低运维成本，使用户能够快速高效的从数据集市中查询所需数据。

为实现上述目的，根据本发明实施例的一个方面，提供了一种基于Hadoop集群的数据集市管理系统，包括：集群管理子系统；数据管理子系统；权限管理子系统；访问接口子系统；其中，所述集群管理子系统用于获取所述数据集市的配置信息，以及将所述配置信息同步至所述权限管理子系统；所述集群管理子系统还用于获取所述数据集市的元数据信息，以及将所述元数据信息同步至所述数据管理子系统，所述数据管理子系统再将所述元数据信息同步至所述权限管理子系统；所述数据管理子系统用于获取所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至所述权限管理子系统；所述访问接口子系统用于接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。

可选地，所述数据集市管理系统还包括：消息服务子系统，用于将所述数据集市的元数据的变更信息同步至所述数据管理子系统；其中所述消息服务子系统包括：存储单元，用于保存所述数据集市的元数据的信息；日志单元，用于保存所述存储单元中数据变更的信息；订阅单元，用于实时获取并保存所述日志单元中的信息；任务单元，用于将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

可选地，所述集群管理子系统通过超文本传输协议类型的接口获取所述数据集市的配置信息。

可选地，所述订阅单元通过配置实时采集任务实时获取所述日志单元中的信息，并保存该信息用于消息订阅。

可选地，所述任务单元通过建立流处理任务将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

为实现上述目的，根据本发明实施例的另一个方面，提供了一种使用基于Hadoop集群的数据集市管理系统访问数据集市的方法，包括：集群管理子系统获取所述数据集市的配置信息，以及将配置信息同步至所述权限管理子系统中；所述集群管理子系统获取所述数据集市的元数据信息，以及将所述元数据信息同步至数据管理子系统，所述数据管理子系统再将所述元数据信息同步至所述权限管理子系统；所述数据管理子系统获取所述数据集市的元数据的变更信息，所述数据管理子系统再将所述元数据的变更信息同步至所述权限管理子系统；访问接口子系统接收访问请求，从所述权限管理子系统获取对应的权限，并且根据所述请求和所述权限确定对所述访问请求的响应。

可选地，所述方法还包括：所述数据集市管理系统中的消息服务子系统将所述数据集市的元数据的变更信息同步至所述数据管理子系统；其中，所述消息服务子系统中的存储单元保存所述数据集市的元数据的信息；所述消息服务子系统中的日志单元保存所述存储单元中数据变更的信息；所述消息服务子系统中的订阅单元实时获取并保存所述日志单元中的信息；所述消息服务子系统中的任务单元将所述订阅单元中保存的信息转换为元数据的变更信息，并将该信息同步至所述数据管理子系统。

可选地，所述集群管理子系统通过超文本传输协议类型的接口获取所述数据集市的配置信息。