[发明专利]数据降采样和数据查询方法、系统及存储介质

说明书

本申请实施例提供一种数据降采样和数据查询方法、系统及存储介质。在本申请实施例中，在原始数据从内存写入持久性存储介质的过程中，根据预设的降采样规则，对写入持久性存储介质的目标原始数据进行降采样处理；并存储降采样处理得到的降采样数据，实现了原始数据的预降采样。这样，在降采样查询时，可直接查询预降采样结果，无需对原始数据进行实时降采样处理，有助于提高降采样查询效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据降采样和数据查询方法、系统及存储介质。

背景技术

时序数据是基于某种频率持续产生的一系列数据，在应用性能监测(ApplicationPerformance Monitor，APM)、物联网和工业互联网等领域存在大量时序数据。时序数据库是为高效存储和查询这类时序数据而设计的。时序数据库中有一类需求是对原始数据进行降采样处理。

在现有技术中，一般在数据查询时进行实时降采样。这种降采样方式需要从时序数据库对应的磁盘文件中扫描原始数据，对于时间跨度比较大的查询，需要扫描大量原始数据，数据查询效率较低。

发明内容

本申请的多个方面提供一种数据降采样和数据查询方法、系统及存储介质，用以提高数据查询效率。

本申请实施例提供一种数据降采样方法、包括：

将获取的原始数据写入内存；

在所述内存中的原始数据达到设定的数据量的情况下，将内存中的原始数据写入第一持久性存储介质；

在所述原始数据写入第一持久性存储介质的过程中，根据预设的降采样规则，对写入所述第一持久性存储介质的目标原始数据进行降采样处理，以得到降采样数据；

将所述降采样数据写入第二持久性存储介质。

本申请实施例还提供一种数据查询方法，包括：

获取查询请求；所述查询请求用于聚合查询；

根据所述查询请求，查询所述内存和存储降采样数据的持久性存储介质；

针对所述内存中存在满足所述查询请求的数据的情况，从所述内存和所述持久性存储介质中分别获取满足所述查询请求的第一原始数据和第一降采样数据；

根据所述查询请求，对所述第一原始数据进行降采样处理，以得到第二降采样数据；

基于所述第一降采样数据和所述第二降采样数据，确定所述查询请求的查询结果。

本申请实施例还提供一种计算系统，包括：存储器和处理器；所述存储器包括：内存和持久性存储介质；

所述处理器与所述内存和所述持久性存储介质通信连接，用于执行上述数据降采样方法和/或上述数据查询方法中的步骤。

本申请实施例还提供一种存储有计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行上述数据降采样方法和/或上述数据查询方法中的步骤。

在本申请实施例中，在原始数据从内存写入持久性存储介质的过程中，根据预设的降采样规则，对写入持久性存储介质的目标原始数据进行降采样处理；并存储降采样处理得到的降采样数据，实现了原始数据的预降采样。这样，在降采样查询时，可直接查询预降采样结果，无需在降采样查询时，对原始数据进行实时降采样处理，有助于提高后续降采样查询效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1a为本申请实施例提供的数据降采样方法的流程示意图；