[发明专利]基于NoSQL实现元数据缓存与分析的系统及方法

说明书

技术领域

本发明涉及数据库存储领域，尤其涉及基于数据库的元数据缓存与分析领域，具体是指 一种基于NoSQL实现元数据缓存与分析的系统及方法。

背景技术

随着信息技术的发展，产生了海量的数据。如何有效地管理和组织这些海量数据已经成 为一个突出的问题。元数据是解决这一问题的有效手段，能支持系统对数据的管理和维护。 具体来说，在数据仓库系统中，元数据机制主要支持以下五类系统管理功能:(1)描述哪些 数据在数据仓库中；(2)定义要进入数据仓库中的数据和从数据仓库中产生的数据；(3)记 录根据业务事件发生而随之进行的数据抽取工作时间安排；(4)记录并检测系统数据一致性 的要求和执行情况；(5)衡量数据质量。

元数据管理系统中，对元数据的有效分析至关重要。元数据分析功能主要实现针对元数 据的基本分析功能。包括血缘分析(血统分析)、影响分析、实体关联分析、实体影响分析、 主机拓扑分析、指标一致性分析等。

当前的元数据分析系统的数据关联关系的查找都是通过关系数据库来完成，最终形成数 据的来源与去向关系图。由于关系数据库理论的限制，元数据实体和元数据间的关系分别存 储在多个数据库表中，一般来说，存储在三个数据库表中：元数据实例表、元数据组合关系 表和元数据依赖关系表，在进行数据关联关系的查询时需要进行多表间的连接操作，对多表 进行连接操作非常耗费计算机的资源如CPU、内存等，如果表中还存储了海量的数据，数据 查询的响应时间会非常慢。

随着大数据时代的到来，数据和流量不断增加，必须要有更多的计算资源来应对数据爆 炸的状况。出于投资回报率的考虑，计算能力的纵向扩展成本很高而且扩展尺度也有限；计 算能力的横向扩展通过采用多个使用廉价硬件组成的集群，能够在降低扩展所需的成本的同 时也提高了集群的可靠性。然而，关系数据库并不是设计为在集群上运行的，虽然能通过一 些技术手段来克服在集群中运行关系型数据库的问题，但是解决诸如分片查询、参照完整性、 事务、一致性控制等的方法都非常复杂。

为解决关系型数据库与集群的不协调，研究人员对能在集群中存储数据的新方案进行了 广泛的研究，其中NoSQL数据库的理论与产品迅速发展起来，得到了人们的大量关注。NoSQL 并没有一个严谨的定义，一般人们认为它是“不使用SQL语言的非关系型数据库”，NoSQL 数据库具备如下几个特征：①NoSQL数据库不使用SQL，没有NoSQL数据库实现了标准的 SQL语言；②NoSQL数据库通常都是开源项目；③多数NoSQL数据库都为了在集群环境中 运行，因此它们的数据模型和数据一致性方案各不相同；④NoSQL数据库不使用“模式”， 不用事先修改结构定义就可以自由添加数据库字段。

元数据实体间的关联关系是因为关系型数据库的特性如表中数据不能有冗余、表中数据 类型不支持复杂数据类型等原因而存储在多个表中，如果迁移到NoSQL数据库中，更符合元 数据分析的数据实体间关系查询的要求。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种通过NoSQL数据库来缓存元数 据并并提供相应的查询方法，节约系统资源，提高了数据访问的性能，加快元数据分析的响 应速度，优化查询性能的基于NoSQL实现元数据缓存与分析的系统及方法。

为了实现上述目的，本发明的基于NoSQL实现元数据缓存与分析的系统及方法具有如下 构成：

该基于NoSQL实现元数据缓存与分析的系统，其主要特点是，所述的系统包括：

元数据分析客户端，用以响应用户输入的元数据分析指令，并将所述的元数据分析指令 对应的元数据分析消息发送至通信模块，以及解析所述的通信模块发送的分析结果消息得到 元数据分析结果，并显示所述的元数据分析结果；

元数据分析服务端，用以解析所述的通信模块发送的元数据分析消息，并根据解析得到 的元数据分析任务查询NoSQL数据库服务器得到元数据分析结果，并将所述的元数据分析结 果所对应的分析结果消息发送至所述的通信模块；

NoSQL数据库服务器，用以生成NoSQL元数据表，并将元数据库中的数据缓存至所述 的NoSQL元数据表中，以及响应所述的元数据分析服务端的查询请求；

通信模块，用以将所述的元数据分析消息发送至所述的元数据分析服务器，以及将所述 的分析结果消息发送至所述的元数据分析客户端。