[发明专利]一种多维度数据查询及缓存的优化方法

说明书

本发明公开了一种多维度数据查询及缓存的优化方法，在查询模块中：根据输入的关键字，利用配对堆算法生成优先队列；根据优先队列不同的权重，在非关系型数据库集群中进行匹配；在缓存模块中：结合优先队列，构建不相交集合的数据结构。本发明能极大地提升搜索性能。

技术领域

本发明涉及大数据技术领域，尤其涉及多维度数据查询及缓存的优化方法。

背景技术

随着社会信息化的快速推进，智能硬件的不断发展，数据进入了海量倍增时代，各行业和个人数据量的需求增加，使得结构化和非结构化数据的数量日趋增大。是否能对海量的数据进行快速、有效的处理和分析，已经成为数据处理分析服务的重要考量依据。其中，公共安全领域随着大数据技术的深度应用，开启了新的纪元。通过有效地整合各类数据、构建多维分析模型等方式，提升了情报洞察、分析研判、侦查打击以及指挥管理的能力。但是，针对非结构化数据可视化领域的相关技术还未成熟，随着数据融合的不断深入，业务建模的不断整合，在公共安全方面基于可视化大数据的分析研判及数据动态化的需求变得更加迫切。

发明内容

本发明的目的在于提供一种多维度数据查询及缓存的优化方法，能极大地提升搜索性能。

实现上述目的的技术方案是：

一种多维度数据查询及缓存的优化方法，包括：

在查询模块中：

根据输入的关键字，利用配对堆(Paring Heap)算法生成优先队列；

根据优先队列不同的权重，在非关系型数据库集群中进行匹配；

在缓存模块中：

结合优先队列，构建不相交集合的数据结构。

优选的，根据关键字的使用频度设置优先队列各节点的权重。

优选的，不相交集合采用有根树来实现：有根树表示集合，树中的每个节点包含集合的一个成员，每棵树表示一个集合；每个树的根包含了代表，并且是它自己的父节点。

优选的，不相交集合的数据结构引入有按秩合并策略和路径压缩策略。

优选的，通过访问的历史记录，对优先队列的节点的权重变动设置。

本发明的有益效果是：本发明通过对多维度数据查询和缓存的优化，生成并利用优先队列，在应用层首先显示优先级高的数据查询结果。相比较LRU(Least recentlyused)策略而言，这种方案一定程度上弥补了LRU带来的缓存污染的问题。同时，引入“按秩合并”或者“路径压缩”策略，在后续的查询中，缓存中多维度数据的深度将大大减小，查询性能显著提升。

附图说明

图1是本发明中多维度数据查询优化的流程图；

图2是本发明中多维度数据缓存优化的流程图。

具体实施方式

下面将结合附图对本发明作进一步说明。

目前，在非结构化数据管理系统中，查询处理模块是其中一个重要的组成部分，针对非结构化数据的特性设计合理的查询处理框架和查询优化策略对于非结构数据的快速、有效访问极为重要。查询处理的主要操作包括选择操作、连接操作、投影操作、聚合函数、排序等。查询优化的方法包括基于代价估算的优化和基于启发式规则的优化等。使用的数据包括但不限于文本、图像、视频等数据类型，以及三维造型等非结构化数据。