[发明专利]一种面向全数据形态开放共享的数据湖系统

权利要求书

1.一种面向全数据形态开放共享的数据湖系统，其特征在于，包括:数据生产者平台层、中间层和消费者平台层；其中，所述中间层包括数据集成模块、数据存储模块和数据开放模块；

所述数据生产者平台层由一种或多种异构数据库组成；

所述数据集成模块，用于从所述数据生产者平台层中自动获取数据，并将获取的所述数据集成到所述数据存储模块的离线数据湖和实时数据湖中进行存储；

所述数据开放模块用于根据预设的统一数据目录、标准开放协议及SDN网优策略，将所述数据存储模块中存储的数据开放给所述消费者平台层；

所述消费者平台层，用于与消费者终端进行数据交互。

2.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述中间层还包括数据管理模块；

所述数据管理模块用于分别监控所述数据集成模块、数据存储模块和数据开放模块的数据处理过程。

3.根据权利要求2所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块包括：元数据管理单元、对象存储管理单元和开发指数监控单元；

所述元数据管理单元，用于基于两级数据目录机制管理和监控数据；

所述对象存储管理单元，用于基于多租户技术对数据隔离管理；

所述开发指数监控单元，用于监控开放资源维度指数和存储资源维度指数。

4.根据权利要求3所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据管理模块还包括数据评价收集单元和数据评价分析单元；

所述数据评价采集单元，用于收集开放数据的需求满足度和质量的总体评价；其中，所述开放数据为所述数据开放模块向所述消费者平台层开放的数据；

所述数据评价分析单元，用于基于数据评价体系，对所述数据评价采集单元收集的总体评价进行挖掘分析。

5.根据权利要求4所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据评价体系包括数据质量评价模型和数据开放评价模型；

所述数据质量评价模型，用于分析数据及时性、数据完整性和数据一致性；

所述数据开放评价模型，用于分析数据资源个数、数据资源记录数、数据资源存储大小和数据资源更新周期。

6.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据存储模块包含租户存储空间分配单元；

所述租户存储空间分配单元用于根据租户的身份标识及租用空间，为所述租户分配逻辑存储空间；其中，各所述逻辑存储空间之间的物理空间相互隔离。

7.根据权利要求1所述的一种面向全数据形态开放共享的数据湖系统，其特征在于，所述数据开放模块还包括数据检索单元、数据血缘显示单元和数据使用单元；

所述数据检索单元，用于所述消费者终端输入的检索指令，并根据所述检索指令从所述数据存储模块中进行多维度筛选检索，并将检索结果返回给所述消费者终端；

所述数据血缘显示单元，用于根据数据资源之间的关联性特征，向用户显示全局血缘视图、两岸血缘视图和数据表血缘视图。

所述数据使用单元，用于根据所述数据集成模块的分区策略，供所述消费者终端通过外部表及分区，实现数据直连及快速访问。