[发明专利]一种基于万维网的层次积分直方图可视查询方法

说明书

本发明公开了一种层次积分直方图的可视查询方法，包括以下步骤：步骤1：对原始数据集进行配置，包括离散化区间数、过滤数据的条件和需要进行聚合统计的维度；步骤2：以离线预处理方式构建并存储层次划分树，其中数据被层次划分树分割为多个数据子集，每个数据子集的统计特征由积分直方图进行表达；步骤3：将可视化空间均匀离散化成特定的小区域，将小区域的坐标输入步骤2中的层次划分树进行范围查询，所述范围查询是寻找与目标区域有交集的数据子集并用该交集的积分直方图去估计目标区域统计特征的过程，所有小区域都被执行范围查询后得到一个关于统计特征的矩阵；步骤4：对统计特征的矩阵进行视觉元素绑定，进行可视化请求。

技术领域

本发明涉及快速可视查询领域，特别涉及一种层次积分直方图的快速查询方法。

背景技术

在大规模结构化数据的可视分析场景中，人们需要从数据的统计特征中了解和研究数据的分布，通过分布特点总结规律、进行决策。最常见的聚合运算(指从一组值中计算出一个值)一般通过直方图或离散化散点图等进行可视表达。当数据量足够大时，直接遍历数据项计算统计特征的方法将无法满足交互式可视化探索的实时性需求。如何在大规模结构化数据中快速查询得到指定范围的数据，例如交通资源的实时管理调度、金融交易的实时监测等，成为了互联网，交通，航天，商业等领域的热门课题。

对于现实中的大规模结构化数据，其维度高，数据项多，数据模态和格式多种多样，数据分布独特。在如此庞大复杂的数据集上执行可视查询操作，会存在无法及时响应甚至耗时太长的问题。许多现有的方法都是在数据库层面进行查询优化，它们为了得到精确的结果,需要在数据集上设置考虑同时构造有利于用户理解的外部表达；另外，一些工作基于近似结果的目标采用了一系列的近似查询策略(近似查询指为了减少查询的响应时间，用近似的策略对数据进行查询)，例如基于抽样算法的，基于直方图表达的和基于小波变换的技术。

上述近似技术有的使用了固定的预计算模式，局限于特定统计特征，不能应用于多种类型的数据，如动态数据和流数据；有的仅限于低维情况，高维数据集计算所需的内存过大。

发明内容

本发明提供了一种层次积分直方图的可视查询方法，把搜索时间降低到500毫秒以内，达到交互级别同时显著减少对存储的需求。

一种层次积分直方图的可视查询方法，包括以下步骤：

步骤1：对原始数据集进行配置，包括离散化区间数、过滤数据的条件和需要进行聚合统计的维度；

步骤2：基于步骤1中的配置处理得到的数据，以离线预处理方式构建并存储层次划分树，其中数据被层次划分树分割为多个数据子集，每个数据子集的统计特征由积分直方图进行表达；

步骤3：通过步骤1中的配置将可视化空间均匀离散化成特定的小区域，对于每一块小区域，将小区域的坐标输入步骤2中的层次划分树进行范围查询，所述范围查询是寻找与目标区域有交集的数据子集并用该交集的积分直方图去估计目标区域统计特征的过程，所有小区域都被执行范围查询后得到一个关于统计特征的矩阵；

步骤4：对步骤3的统计特征的矩阵进行视觉元素绑定，进行可视化请求。

本方法把时间损耗转移到预处理阶段，对查询结果进行误差允许范围内的近似计算，与现有方法相比，本查询方法可以显著降低存储成本，并且时间复杂度与数据点的数量无关，可以进行高效的在线可视查询。

本发明基于用户的配置参数对原始数据集和目标可视空间进行预处理，并通过层次划分算法对数据集进行层次划分，从而实现对不同分布的区域采用不同精度和尺度的表达。对于每一个子区域，用积分直方图去近似该区域的统计特征，在可视查询时，系统利用层次划分树快速有效地遍历查找目标区域集合并返回近似值，从而得到目标区域的近似统计特征。