[发明专利]多维分级哈希编码、解码方法与设备、存储介质

说明书

技术领域

本发明涉及数据存储管理领域，特别涉及一种时间序列相关数据的多维分级哈希编码、解码方法与设备、存储介质。

技术背景

云存储和大数据背景下，数据呈现爆炸式增长趋势。根据研究显示，2020年数字宇宙将达到35.2ZB，比2009年的0.8ZB猛增44倍，这其中80％以上为非结构化数据。金融领域、国民经济宏观控制、区域综合发展规划、企业经营管理、市场潜量预测、气象预报、水文预报、地震前兆预报、农作物病虫灾害预报、环境污染控制、生态平衡、天文学和海洋学等等大量数据密集型应用导致数据的井喷。因数据存储量巨大，导致读写速度很慢，其主要问题是存储与I/O没有做到很好的优化，故不断对存储方法提出新的严峻挑战。

发明内容

本发明提供一种多维分级哈希编码、解码方法与设备、存储介质，通过优化存储方法与I/O，很好地解决上述数据读写速度慢的问题，同时降低数据存储使用空间。

本发明提供了一种多维分级哈希编码方法，包括如下步骤：

数据输入；

将数据按照时间周期进行分类；

对各时间周期相关数据进行稀疏滤波，生成多维数据；

对各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值；

将各个周期对应的每组哈希值按照数据量大小进行排序，获得哈希表并存储。

所述的稀疏滤波是将数据相同值进行删除的压缩方法，在一组时间相关序列值中，检测相邻的值是否相同，如果相同则删除相邻的相同值。

所述的哈希表包含二级或二级以上数据结构。

所述的时间周期包括但不限于年、月、周、日、时、30分钟、5分钟、5秒、1秒、1跳。

所述的哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。

所述的数据与时间序列相关，包括但不限于金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据。

所述的哈希表可用于并行定位数据的存储位置和/或并行读取数据。

本发明还提出了一种多维分级哈希解码方法，包括以下步骤：

读取哈希表；

获得数据位置；

根据数据位置，分周期整块读出数据；

串行或者并行读取，直到所需的数据读取完成。

本发明还提供一种计算设备，包括：

一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法的指令。

本发明还提供一种存储介质，所述存储介质存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由基于分级目标评价的策略生成设备执行时，使得所述计算设备执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法。

本发明通过对数据进行时间周期分类，并对分级后的数据进行稀疏滤波生成多维数据，并对数据进行排序存储生成哈希值，再对哈希值进行排序生成哈希表的方式优化存储方法与I/O，可大大节省存储空间。通过按时间周期进行多维分级并存储的哈希表，可用于并行定位数据的存储位置以及并行读取数据，提高数据读取速度。

附图说明

图1是本发明多维分级哈希编码流程图。

图2是稀疏滤波采样流程。

图3是本发明多维分级哈希数据布局模式。

图4是本发明多维分级哈希编码的装置。

图5是本发明多维分级哈希解码流程图。

图6是本发明多维分级哈希解码装置。

具体实施方式

下面结合附图并通过具体实施方式来进一步说明本发明的技术方案和优点。

实施例一

本发明实施例一公开了一种多维分级哈希编码方法，参照图1所示流程：

步骤111，输入与时间序列相关的原始数据。