[发明专利]一种大规模数据集的Skyline查询方法及其系统

说明书

本发明公开了一种大规模数据集的Skyline查询方法，应用于Skyline查询技术领域，包括以下步骤：基于用户终端发送的查询信息从传感器网络中获取用于查询Skyline的原始数据集；对原始数据集进行剪枝处理，基于预设的消除策略消除非Skyline数据，得到预处理数据集；对预处理数据集中的数据基于数据属性创建索引，得到与数据属性具有索引关系的子空间数据集；基于查询信息获取目标属性，基于索引关系在子空间数据集中提取具有目标属性的待查询数据集；对待查询数据集中的数据进行Skyline查询，将查询结果发送至用户终端。本发明同时公开了一种大规模数据集的Skyline查询系统。本发明能够有效减少大规模数据集中Skyline查询的运算量，提高查询系统的反应时间。

技术领域

本发明涉及Skyline查询技术领域，尤其涉及一种大规模数据集的Skyline 查询方法及其系统。

背景技术

在环境监测预警中，由于温度、湿度、风力等参数数据在时刻发生改变，因 此数据量巨大，如何从这些参数的海量数据中快速检测出Skyline(临界点)是 一项技术要点和难点。基于Skyline检测，可以使监测系统提取出目标属性，从 而执行下一步的应对机制。

现有技术中，针对Skyline查询的方法较多。Borzsonyi等人最先介绍了关系 数据库中的Skyline操作，并于2001年提出了BNL和D&C两种算法。Chomicki 等人于2002年的《Skyline with presorting》中提出了使用SFS算法作为BNL的 变形算法。Pei等人于2006年首次在《Catching the best views of skyline:A semantic approach based ondecisive subspaces》中提出了针对子空间的Skyline查询算法， 主要是在分布式环境下，基于每个分离点计算本地Skyline点，再把这些Skyline 点合计算全局Skyline点。S.Wang和P.Wu等人在《Parallelizing skyline queries for scalable distribution》中提出在P2P网络中，使用非结构化的对等点或者有序索 引来定义相关对等点来实现Skyline查询。但是上述方法皆采用轻量化终端进行 处理，而大数据上的Skyline查询由于运算量巨大，无法在轻量化设备上运用。 在此基础上，基于对本地Skyline点集数据和最终结果的Skyline数据集进行划 分，从而减少本地Skyline查询计算量的想法，众多学者们在2011年提出了针对 Skyline查询的空间划分策略，应用较广的是2012年L.chen等人在《Paralleland Distributed Processing Symposium Workshops&PhD Forum》中提出利用并行编程模型Map Reduce的基于角度Skyline划分方法。然而，这种方法依然无法很好 的解决基础运算量大和运算耗时长的问题。

发明内容

本发明针对现有技术中大规模数据集下，提出一种大规模数据集的Skyline 查询方法，该方法中使用一种网格剪枝策略，并针对所有属性创造索引参数，方 便在查询时根据索引提取具有目标属性的数据，从而减少基础运算数据同时缩短Skyline的查询时长。

本发明为了实现上述目的具体采用以下技术方案：

第一方面，本发明公开一种大规模数据集的Skyline查询方法，包括以下步 骤：

基于用户终端发送的查询信息从传感器网络中获取用于查询Skyline的原始 数据集；

对原始数据集进行剪枝处理，基于预设的消除策略消除非Skyline数据，得 到预处理数据集；

对预处理数据集中的数据基于数据属性创建索引，得到与数据属性具有索引 关系的子空间数据集；

基于查询信息获取目标属性，基于索引关系在子空间数据集中提取具有目标 属性的待查询数据集；