[发明专利]一种数据湖环境下异构数据管理的实现方法

权利要求书

1.一种数据湖环境下异构数据管理的实现方法，其特征在于：包括以下步骤：

S1、将数据湖划分为用于存储原始数据的原始数据池；所述原始数据池包括用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，用于存储文本、图像、音频、视频的对象数据池以及用于存储不能归纳在模拟数据池、应用数据池、对象数据池中的数据的文档数据池；

S2、将从各个系统中采集的异构数据信息全部上传至原始数据池中，原始数据池通过分类程序对上传的异构数据信息进行分类；

S3、原始数据池将分类后的异构数据信息分别传送至模拟数据池、应用数据池、对象数据池、文档数据池中进行存储；

S4、将模拟数据池、应用数据池、对象数据池、文档数据池中的数据传输端口与数据湖系统的数据搜索端口相对接并通过数据湖系统的数据搜索端口对数据湖内的异构数据信息进行搜索。

2.如权利要求1所述的数据湖环境下异构数据管理的实现方法，其特征在于：所述步骤S2中通过分类程序对上传的数据信息进行分类包括以下步骤：

S21、分类程序分析上传的异构数据信息的格式，针对其格式判断其是否属于临时文件格式，如果其属于临时文件格式则将其分类到应用数据池中；

S22、判断剩下的异构数据信息是否为文本、图像、音频、视频数据，如果其属于文本、图像、音频、视频数据，则将其分类到对象数据池中；

S23、判断剩下的异构数据信息是否为监测数据，如果其属于监测数据，则将其分类到模拟数据池中；如果其不属于监测数据，则将其分类到文档数据池中。

3.如权利要求2所述的数据湖环境下异构数据管理的实现方法，其特征在于：所述步骤S4中数据湖系统的数据搜索端口对数据湖内的异构数据信息进行搜索包括以下步骤：

S41、通过检索程序判断待搜索异构数据信息的格式信息；

S42、通过格式信息判断待搜索异构数据信息所属的数据池类别；

S43、通过搜索程序在待搜索异构数据信息所属类别的数据池中对待搜索异构数据信息进行搜索即可。