[发明专利]一种自适应采样与查询方法及系统

说明书

本发明提供一种自适应采样与查询方法及系统，该方法包括：基于波动度的余弦距离权重函数，计算每一个数据点的波动度权重，并按照所述波动度权重，使用二分查找算法对累积数据进行快速自适应分桶，使得分桶结果中所有桶的最大权重和最小；对每个分桶结果中的流式数据，通过多种采样算子提取相同数目的样本，以实现自适应的采样密度，得到对应的采样结果；基于采样结果，从低层级样本中采样得到高层级的样本，构建保持层级结果一致性的层级样本结构，并根据所述层级样本结构，构建层级查询引擎；当层级查询引擎查询到符合采样粒度的层级后，将保留当前层级的样本作为查询结果。本发明降低了采样误差，保证了数据查询结果的一致性与低延迟。

技术领域

本发明涉及计算机可视化采样技术领域，尤其涉及一种自适应采样与查询方法及系统。

背景技术

对海量规模高频率流式数据进行实时可视化监控，对于数据分析与故障检测等任务具有极为重要的意义。但由于流式数据规模大和频率高的特点，查询、处理及渲染上百万条数据将会耗费大量的时间，这使得仅仅对流式数据进行实时可视化监控都成为难以解决的问题。实现流式数据的实时可视化，有助于在早期发现数据异常特征，防患于未然，具有重要的现实意义。一个可行的解决办法就是在不损失太多可视化精度的前提下，降低可视化数据的规模。

最直接的实现方法为在每次查询时都对原始数据进行采样，但这仍需要大量的查询与处理时间。数据库采样技术先对原始数据进行随机采样，然后将样本物化在数据库中用以响应查询。这避免了不同查询之间的重复计算，但是随机采样意味着其可视化误差没有保证。没有误差保证的可视化结果可能会带来错误的可视化结论。常见的简单采样方法如均匀采样、分层采样等，都缺少采样误差的保证，存在较高的延迟。

因此，现在亟需一种自适应采样与查询方法及系统来解决上述问题。

发明内容

针对现有技术存在的问题，本发明提供一种自适应采样与查询方法及系统。

本发明提供一种自适应采样与查询方法，包括：

基于波动度的余弦距离权重函数，计算每一个数据点的波动度权重，并按照所述波动度权重，使用二分查找算法对累积数据进行快速自适应分桶，使得分桶结果中所有桶的最大权重和最小；

对每个分桶结果中的流式数据，通过多种采样算子提取相同数目的样本，以实现自适应的采样密度，得到对应的采样结果；

基于采样结果，从低层级样本中采样得到高层级的样本，构建保持层级结果一致性的层级样本结构，并根据所述层级样本结构，构建层级查询引擎；

当层级查询引擎查询到符合采样粒度的层级后，将保留当前层级的样本作为查询结果。

根据本发明提供的一种自适应采样与查询方法，所述基于波动度的余弦距离权重函数用于计算数据点的波动度权重，其中，所述波动度权重，为目标数据点与该目标数据点相邻前后两数据点的余弦距离。

根据本发明提供的一种自适应采样与查询方法，所述使用二分查找算法对累积数据进行快速自适应分桶，使得分桶结果中所有桶的最大权重和最小，包括：

对权重数组扫描一次，得到所有数据点的权重和与单个数据点权重的最大值；

将所有数据点的权重和与单个数据点权重的最大值作为桶权重和的上界与下界，并基于所述上界和所述下界为起点，通过二分查找算法，获取满足预设条件的桶权重和。

根据本发明提供的一种自适应采样与查询方法，所述基于采样结果，从低层级样本中采样得到高层级的样本，构建保持层级结果一致性的层级样本结构，包括：

将所述层级样本结构分为最低样本层级与上层样本层级，其中，最低样本层级，用于直接获取实时更新的原始数据，并对原始数据进行自适应分桶采样；上层样本层级不断轮询下一层级所得到的采样结果，并判断当前累计数据是否可以满足分桶条件；