[发明专利]一种数据湖环境下异构数据管理的实现方法

说明书

本发明公开了一种数据湖环境下异构数据管理的实现方法，包括以下步骤：S1、将数据湖划分为原始数据池，原始数据池包括模拟数据池、应用数据池、对象数据池以及文档数据池；S2、将从各个系统中采集的异构数据信息全部上传至原始数据池中，原始数据池通过分类程序对上传的异构数据信息进行分类；S3、原始数据池将分类后的异构数据信息分别传送至模拟数据池、应用数据池、对象数据池、文档数据池中进行存储；S4、将模拟数据池、应用数据池、对象数据池、文档数据池中的数据传输端口与数据湖系统的数据搜索端口相对接并通过数据湖系统的数据搜索端口对数据湖内的异构数据信息进行搜索。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据湖环境下异构数据管理的实现方法。

背景技术

随着大数据应用的普及，人们需要管理数据的种类和数量在不断增长，这些数据不仅包括传统的结构化数据，还包括文本、图像、视频等非结构化数据，以及基于这些数据提取和挖掘的二次加工数据等。此外，数据的来源也变得更加多样，例如对于一个设备工作状况的描述信息既包括设备上的传感器采集到的时序数据，还包括用户录入系统的巡查、检修等数据。这些多源异构数据的使用对现有的数据管理工作提出了巨大挑战，因此，有必要研究一种管理方法来对大数据进行管理操作。

发明内容

本发明目的是针对上述问题，提供一种有效对异构数据进行管理的数据湖环境下异构数据管理的实现方法。

为了实现上述目的，本发明的技术方案是：

一种数据湖环境下异构数据管理的实现方法，包括以下步骤：

S1、将数据湖划分为用于存储原始数据的原始数据池；所述原始数据池包括用于存储监测数据的模拟数据池，用于存储执行应用时产生的临时数据的应用数据池，用于存储文本、图像、音频、视频的对象数据池以及用于存储不能归纳在模拟数据池、应用数据池、对象数据池中的数据的文档数据池；

S2、将从各个系统中采集的异构数据信息全部上传至原始数据池中，原始数据池通过分类程序对上传的异构数据信息进行分类；

S3、原始数据池将分类后的异构数据信息分别传送至模拟数据池、应用数据池、对象数据池、文档数据池中进行存储；

S4、将模拟数据池、应用数据池、对象数据池、文档数据池中的数据传输端口与数据湖系统的数据搜索端口相对接并通过数据湖系统的数据搜索端口对数据湖内的异构数据信息进行搜索。

进一步的，所述步骤S2中通过分类程序对上传的数据信息进行分类包括以下步骤：

S21、分类程序分析上传的异构数据信息的格式，针对其格式判断其是否属于临时文件格式，如果其属于临时文件格式则将其分类到应用数据池中；

S22、判断剩下的异构数据信息是否为文本、图像、音频、视频数据，如果其属于文本、图像、音频、视频数据，则将其分类到对象数据池中；

S23、判断剩下的异构数据信息是否为监测数据，如果其属于监测数据，则将其分类到模拟数据池中；如果其不属于监测数据，则将其分类到文档数据池中。

进一步的，所述步骤S4中数据湖系统的数据搜索端口对数据湖内的异构数据信息进行搜索包括以下步骤：

S41、通过检索程序判断待搜索异构数据信息的格式信息；

S42、通过格式信息判断待搜索异构数据信息所属的数据池类别；

S43、通过搜索程序在待搜索异构数据信息所属类别的数据池中对待搜索异构数据信息进行搜索即可。

与现有技术相比，本发明具有的优点和积极效果是：