[发明专利]底层数据管理方法、系统及计算机可读存储介质

说明书

本发明公开了底层数据管理方法、系统及计算机可读存储介质，方法包括：发送编辑文件获取请求以获取数据存储服务器反馈的编辑文件，对编辑文件进行解析得到多个数值组后进行组装得到数据链表，对每一数据链表中的属性信息进行封装得到每一数据链表的链表调用信息，对链表调用信息进行显示以供用户通过链表调用信息对存储服务器中的数据信息进行管理。本发明基于元数据管理技术，属于大数据处理领域，数据链表中包含与该数据链表对应的一个数据块在不同时刻的状态信息，数据块中包含底层数据，通过调用数据链表中的信息即可实现对数据存储服务器中所存储的底层数据进行快捷、精细化地管理，从而大幅提高了对数据进行管理的精度。

技术领域

本发明涉及大数据处理技术领域，属于智慧城市中对底层元数据进行管理的应用场景，尤其涉及一种底层数据管理方法、系统及计算机可读存储介质。

背景技术

随着互联网技术的发展及大数据时代的到来，互联网中的数据量呈几何级增长，为实现对数据进行分析处理，需对海量数据信息进行存储和管理，Hadoop分布式文件系统(Hadoop Distributed File System，HDFS)是一个在大数据分析中应用十分广泛的分布式存储系统，HDFS中的数据是以数据块(block)为单位来进行存储的，数据仓库工具hive或列式存储框架hbase等大数据框架均是在HDFS的基础上进行封装进而实现数据存储的功能，而对所存储的数据进行管理也均是基于大数据框架所实现的，而这一对数据进行管理的过程均只是针对上层的数据框架，因此难以对底层数据信息进行管理，从而导致对数据进行管理的精度不够高，难以满足实际应用过程中对底层数据进行溯源等管理需求。因此，现有技术方法中存在对分布式存储数据进行管理的精度不够高的问题。

发明内容

本发明实施例提供了一种底层数据管理方法、系统及计算机可读存储介质，旨在解决现有技术方法对分布式存储数据进行管理的精度不够高的问题。

第一方面，本发明实施例提供了一种底层数据管理方法，其包括：

若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；

根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；

对所述多个数值组进行组装得到对应的数据链表；

根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；

将所述链表调用信息进行显示，以供用户根据所述链表调用信息对所述数据存储服务器存储的数据信息进行管理。

第二方面，本发明实施例提供了一种底层数据管理系统，其包括用户终端及数据存储服务器，所述用户终端包括获取请求发送单元、编辑文件解析单元、数值组组装单元、属性信息封装单元及链表调用信息显示单元，所述数据存储服务器包括编辑文件反馈单元；

获取请求发送单元，用于若到达预设时间点，发送编辑文件获取请求至所述数据存储服务器以获取所述数据存储服务器根据所述编辑文件获取请求所反馈的编辑文件；

编辑文件反馈单元，用于若接收到来自所述用户终端的编辑文件获取请求，获取与所述编辑文件获取请求相匹配的编辑文件并反馈至所述用户终端；

编辑文件解析单元，用于根据预置的文件解析规则对所述编辑文件进行解析以得到所述编辑文件中的多个数值组；

数值组组装单元，用于对所述多个数值组进行组装得到对应的数据链表；

属性信息封装单元，用于根据预置的封装处理规则对每一所述数据链表中的属性信息进行封装以生成与每一所述数据链表相匹配的链表调用信息；