[发明专利]数据管理方法及装置

说明书

本申请提供了一种数据管理方法，该管理方法可以确定不同存储系统中的源数据的存储特征，并根据存储特征生成源数据对应的元模型的属性，该步骤可以称为元模型的管理。该管理方法还可以确定存储特征的特征值，将特征值作为元模型的属性的属性值，从而得到元数据，该步骤可以称为元数据的管理。元数据可以描述源数据在存储系统中的存储特征，因此可以作为对源数据进行共享分析等处理操作的基础，实现了对源数据的管理。

技术领域

本申请涉及元数据管理技术领域，更具体地，涉及数据管理方法及装置。

背景技术

数字化的加速，使得企业中存在海量的数据，大数据相关技术可以让企业数据的价值能被充分挖掘，但大数据往往意味着多种数据的采集、共享及分析。

由于实际业务的需求，海量数据通常存储在各种不同类型的系统中。例如数据存储在关系数据库(Relational Database，简称RDB)系统、hive系统、hbase系统、麒麟kylin系统、kafka系统等系统中。存储系统不同，数据的存储格式也不同，或者企业数据开发人员为了满足不同的业务需求，可能会转换数据的存储方式。

然而，各种不同存储方式的数据通常不能直接共享分析，会导致数据孤岛。因此，为了对这些以多种方式存储的海量数据进行共享分析，需要对数据进行基础管理。

发明内容

有鉴于此，本申请提供了一种数据管理方法，以对存储方式不同的海量数据进行基础管理。另外，本申请还提供了一种数据管理装置，用以保证所述方法在实际中的应用及实现。

为实现所述目的，本申请提供的技术方案如下：

第一方面，本申请提供了一种数据管理方法，包括：

确定多种存储类型的源数据的存储特征；

依据所述源数据的存储特征，生成所述源数据对应的元模型；其中所述元模型具有属性；

确定各种所述源数据的存储特征的特征值；

依据所述源数据的特征值，确定所述源数据对应的元模型的属性的属性值。

第二方面，本申请提供了一种数据管理装置，包括：

存储特征确定单元，用于确定多种存储类型的源数据的存储特征；

元模型生成单元，用于依据所述源数据的存储特征，生成所述源数据对应的元模型；其中所述元模型具有属性；

特征值确定单元，用于确定各种所述源数据的存储特征的特征值；

元数据生成单元，用于依据所述源数据的特征值，确定所述源数据对应的元模型的属性的属性值。

由以上可知，本申请提供了一种数据管理方法，该管理方法可以确定不同存储系统中的源数据的存储特征，并根据存储特征生成源数据对应的元模型的属性，该步骤可以称为元模型的管理。该管理方法还可以确定存储特征的特征值，将特征值作为元模型的属性的属性值，从而得到元数据，该步骤可以称为元数据的管理。元数据可以描述源数据在存储系统中的存储特征，因此可以作为对源数据进行共享分析等处理操作的基础，实现了对源数据的管理。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请提供的数据管理方法的一种流程示意图；

图2为本申请提供的数据管理方法的另一种流程示意图；

图3为本申请提供的数据管理方法的又一种流程示意图；