[发明专利]一种基于环形存储表的数据动态压缩保存方法

说明书

技术领域

本发明涉及在互联网业务分析应用中的一种基于环形存储表的数据动态压缩保存方法。

背景技术

我国的网络在飞速地发展着，一方面网络资源不断成倍的增加，但是另一方面网民需求的增长却更为迅猛。近些年来，大型运营商面对日益增长的需求不断地扩充网络容量。然而，除了不断地扩充网络容量，也需要针对网络实际运行情况，在资源分配的方案上做出有效优化。

然而，针对网络运行情况提出优化方案时，必须掌握网络中各类关键数据(如时间、用户、网络、网络流量，即在某用户在某时间使用某网络产生多少网络流量)，并长期保存和查阅所述关键数据。由于存储的关键数据是非常详细的历史数据，数据量非常大，而存储介质容量是有限的，如果不限定存储的时间/粒度，存储介质无法存储无限长时间的数据量。

现有的网络数据保存方法中，有的数据库查询效率比较高，但是不能存储长期的详细历史数据以供日后查询；有的数据库能存储长期的详细历史数据，但是存储空间浪费严重，且查询效率非常低。

因此，有必要提供一种改进的网络数据保存方法来克服现有技术的缺陷。

发明内容

本发明的目的是提供一种基于环形存储表的数据动态压缩保存方法，能快速存储长期详细的历史数据，并保证查询效率，节省存储空间。

为了实现上述目的，本发明提供了一种基于环形存储表的数据动态压缩保存方法包括如下步骤：确定时间区间和时间粒度，将所述时间区间按照所述时间粒度划分为多个连续的时间格，每个时间格对应一个时间点，所述连续的时间格构成存储表；当当前时间到达存储表的时间格对应的时间点时，根据所述时间点获取的数据量确定压缩参数以及根据所述压缩参数确定数据量压缩后的存储空间，向所述时间格存储所述压缩参数和所述存储空间的位置索引，向所述位置索引指示的位置存储所述压缩后的数据，直至所述存储表的最后一个时间格对应的时间点结束，翻转回所述存储表的第一个时间格，此时所述存储表成为环形存储表。

在本发明的一个实施例中，所述根据所述时间点获取的数据量确定压缩参数的步骤具体为：根据所述时间点获取的数据量确定选择编码方式，根据编码方式确定压缩参数。

在本发明的另一实施例中，所述环形存储表的第一个时间格存储对应的绝对时间，最后一个时间格存储对应的绝对时间，当前时间格存储对应的当前时间。

在本发明的又一实施例中，所述方法还包括：根据每个时间格对应的已存储数据所占用的存储空间确定最大峰值存储空间、最小峰值存储空间、以及平均存储空间；根据所述最大峰值存储空间、以及平均存储空间预测将存储的数据占用的空间。

在本发明的又一实施例中，所述方法还包括：当预测的将存储的数据占用的空间大于所述第一时间格对应的已存储数据占用的存储空间时，在最后一个时间格后延伸一预置时间格，所述预置时间格对应存储所述将存储的数据。

与现有技术相比，本发明基于环形存储表的数据动态压缩保存方法将时间格对应的时间点获取的数据量进行压缩存储，并将压缩存储的位置使用位置索引保存在时间格中，在查找数据时可以根据位置索引找到压缩的数据，因此本方法不仅能节省存储空间，而且能提高查询效率。另外，时间格可以为根据用户选定的时间区间定义多个时间格，因此本方法可以存储长期详细的历史数据。

通过以下的描述并结合附图，本发明将变得更加清晰，这些附图用于解释本发明的实施例。

附图说明

图1为本发明基于环形存储表的数据动态压缩保存方法的流程图。

图2a为图1所示基于环形存储表的数据动态压缩保存方法中环形存储表的示意图。

图2b展示了图2a所示环形存储表中时间格与数据之间的映射关系。

具体实施方式

现在参考附图描述本发明的实施例，附图中类似的元件标号代表类似的元件。

如图1，本实施例基于环形存储表的数据动态压缩保存方法包括如下步骤：

步骤S1，确定时间区间和时间粒度，将所述时间区间按照所述时间粒度划分为多个连续的时间格，每个时间格对应一个时间点(绝对时间)，所述连续的时间格构成存储表(若选取30天的时间区间，时间粒度定为分钟，则如图1左半部分所示，从“起始点”开始建立一个连续的时间格组成的序列集合，其中时间格的个数为60×24×30＝43200)；

步骤S2，当存储表的第一个时间格对应的时间点到达时，根据所述时间点获取的数据量确定压缩参数以及根据所述压缩参数确定数据量压缩后的存储空间，向所述第一时间格存储所述压缩参数和所述存储空间的位置索引，向所述位置索引指示的位置存储所述压缩后的数据；