[发明专利]一种获取截面数据的方法和系统

说明书

本申请提供了一种获取截面数据的方法，属于数据处理领域，解决了浪费存储空间的问题，该方法包括：确定计算截面数据的起始时间点，所述起始时间点为查询时间点之前且距离所述查询时间点最近的初始量数据或全量数据的时间点；获取所述起始时间点和用户输入的查询时间点之间的所有归档数据，所述归档数据至少包括标识所述归档数据的主键值；根据所述主键值对获取的所述所有归档数据分组；分别确定每组归档数据中的最新数据变化时间点，遍历所有所述最新数据变化时间点对应的归档数据，将其中属性为初始量或全量或增量的所述归档数据作为所述查询时间点的截面数据。与现有技术相比，不需要为每个时间点保存一份全量数据，节省了存储空间。

技术领域

本申请涉及数据处理领域，特别是涉及一种获取截面数据的方法和系统。

背景技术

随着计算机技术的发展，以及互联网和大数据技术的广泛应用，需要存储和处理的数据越来越多。并且，在数据存储的过程中，经常会出现数据字段的变化。为了充分利用数据，出现了越来越多的管理数据的需求，例如，查询某一日期的截面数据。

现有技术在数据归档的过程中，数据管理系统的主档表中的数据通常是多日数据混合存储，为了满足用户的查询某一日期的截面数据的需求，现有技术通常的做法是：为每个需要查询的日期保存一个全量数据。

很显然，现有技术提供全种做法的缺陷是：数据管理系统每日保存一份全量数据，其中有些数据是没有变化的，浪费了大量存储空间。

发明内容

本申请所要解决的技术问题是提供一种获取截面数据的方法和系统，能够快速地提供用户查询的截面数据，并且能够节省存储空间。

为了解决上述问题，本申请公开了一种获取截面数据的方法，包括：

确定计算截面数据的起始时间点，所述起始时间点为查询时间点之前且距离所述查询时间点最近的初始量数据或全量数据的时间点；

获取所述起始时间点和用户输入的查询时间点之间的所有归档数据，所述归档数据至少包括标识所述归档数据的主键值；

根据所述主键值对获取的所述所有归档数据分组；

分别确定每组归档数据中的最新数据变化时间点，遍历所有所述最新数据变化时间点对应的归档数据，将其中属性为初始量或全量或增量的所述归档数据作为所述查询时间点的截面数据。

其中，归档数据的属性包括：初始量、全量、增量、减量，不同属性的归档数据分别存储。

优选的，在得到所述查询时间点的截面数据之后，所述方法还包括：缓存所述查询时间点的截面数据。所述方法还包括：根据所述查询时间点的查询概率确定是否缓存该查询时间点对应的截面数据。

在确定计算截面数据的起始时间点之前，所述方法还包括：判断是否缓存有指定的查询时间点对应的截面数据，若有，则返回缓存的所述截面数据。

优选的，所述方法还包括：根据所述截面数据的读取频率，动态调整所述截面数据的缓存期。

相应地，本申请实施例还公开了一种获取截面数据的系统，包括：

起始时间确定模块，用于确定计算截面数据的起始时间点，所述起始时间点为查询时间点之前且距离所述查询时间点最近的初始量数据或全量数据的时间点；

归档数据获取模块，用于获取所述起始时间点和用户输入的查询时间点之间的所有归档数据，所述归档数据至少包括标识所述归档数据的主键值；

分组模块，用于根据所述主键值对获取的所述所有归档数据分组；

数据选择模块，用于分别确定每组归档数据中的最新数据变化时间点，遍历所有所述最新数据变化时间点对应的归档数据，将其中属性为初始量或全量或增量的所述归档数据作为所述查询时间点的截面数据。