[发明专利]一种数据湖的数据管理方法

说明书

一种数据湖的数据管理方法，包括S1：采集数据信息，并上传至初始数据池模块,实现对庞杂数据体系的分类，然后将分类好的数据输送到数据池处理模块中；S2：不同类型的数据池处理模块包括有：模拟信号数据池处理模块、应用程序数据池处理模块、文本数据处理模块，各个模块分别对自己类型的数据信息进行处理，实现数据统一管理；S3：构建线程池占用率模型，并对含有移除标记、归档标记的数据进行管理调度至归档数据池模块中。通过上述方案实现在众多数据中找到其内在规律并进行对应存储，解决了当前数据复杂性不容易整理的技术问题。

技术领域

本发明涉及数据管理技术领域，特别涉及一种数据湖的数据管理方法。

背景技术

随着大数据时代的来临，各行各业每天都在产生巨大量的数据碎片，虽然对数据的采集不再是技术问题，但是面对如此众多的数据，怎样才能找到其内在规律，并进行管理存储仍然是一个关键问题。数据湖架构面向多数据源的信息存储，包括物联网在内，大数据分析或归档可通过访问数据湖处理或交付数据子集给请求用户，但数据湖架构不仅仅是一个巨大的存储磁盘，数据湖的数据持久性和安全性却也是其优秀的存储特点。

本申请基于数据湖架构，针对巨大量的数据碎片进行筛选、缩减，将有分析价值这些有效的数据进行长期存储保留，而对于异常、故障这些无意义的存储数据碎片进行定期存储，并在一定时间内进行删除，以释放数据湖空间。本申请可以在众多数据中找到其内在规律并进行对应存储，解决了当前数据复杂性不容易整理的技术问题，这些是当前现有技术中所不具备的。

发明内容

本发明针对现有技术中的不足，提供一种数据湖的数据管理方法；以解决背景技术中所存在的技术问题。

为实现上述目的，本发明采用以下技术方案：

一种数据湖的数据管理方法，包括以下步骤:

S1:采集物理设备的数据信息，然后上传至数据湖中的初始数据池模块；初始数据池模块用于充当这些数据的存放单元，并根据数据的采集对象、数据的特征对庞杂的数据体系进行分类，然后将分类好的数据输送到对应类型的数据池处理模块中；其中每个数据都有属于自己的元过程数据，在将数据分类完成后，将每个数据对应的元过程数据也同步输送到对应的数据池处理模块中；

S2：不同类型的数据池处理模块包括有：模拟信号数据池处理模块，用于将模拟信号数据缩减到易于操作管理的一定数据量，并对缩减后的模拟信号数据进行归档标记或移除标记的重新整理；应用程序数据池处理模块，用于将来自多个应用的应用程序数据进行处理，以解决在不同应用程序中数据结构存在不一致的情况下，仍实现数据统一管理，进而对应用程序数据进行归档标记或移除标记的重新整理；文本数据处理模块，用于将来自多个应用的文本数据进行处理，以解决在不同应用中文本数据分散的情况，实现数据统一管理，进而对文本数据进行归档标记或移除标记的重新整理；

S3：构建线程池占用率模型，并对含有移除标记、归档标记的数据进行管理调度至归档数据池模块中。

为优化上述技术方案，采取的具体措施还包括：

进一步地，步骤S1中所述的根据数据的采集对象、数据的特征对庞杂的数据体系进行分类，然后将分类好的数据输送到对应类型的数据池处理模块中具体内容为：

采集物理设备的数据信息包括三类：模拟信号数据、应用程序数据、文本数据；

针对模拟信号数据，其所采集的对象在于网络设备和网络流量中，该数据的特征在于其数据量反复且庞杂；

针对应用程序数据，其所采集的对象在于应用程序和业务处理中，该数据的特征在于其是重复一致性的结构化数据；

针对文本数据，其所采集的对象在于应用程序中，该数据的特征在于其是非结构化数据；