[发明专利]一种基于云计算环境的分布并行Skyline查询方法

说明书

技术领域

本发明涉及Skyline查询的分布并行处理方法，尤其是基于云计算环境的高效可靠的分布并行Skyline查询方法。

背景技术

Skyline查询是海量数据管理领域亟待解决的核心问题之一。Skyline查询是指从给定的一个D维的数据对象集合S中选择一个子集，该子集中的任意一个数据对象都不能被S中的任意一个其他数据对象所控制。所谓控制关系是指在D维的数据对象集合S中，如果数据对象p至少在某一维度上优于另一个数据对象q，而且数据对象p在其他维度上都不比数据对象q差(p优于或等于q)，那么数据对象p能够控制数据对象q。Skyline查询是目前解决多目标优化问题的典型方法之一，Skyline查询已经成为数据分析和信息提取的重要技术手段，在城市导航、市场分析、环境监控等诸多领域都有着重要应用。

近年来，随着计算机技术、网络技术和通信技术的快速发展，人们获取、存储和传递数据的能力日益增强，数据的规模急剧膨胀，“大数据”作为信息爆炸的产物应运而生。随着数据集规模的不断增大，Skyline查询的数据处理变得更加复杂，对存储资源和计算资源的需求也急剧增长，Skyline查询的处理效率逐渐成为影响数据分析和信息提取效果的关键因素。

随着集群计算、网格计算、P2P计算等网络计算模式的不断发展，分布式并行计算技术已经日趋成熟，并逐渐成为提高海量数据处理效率的有效技术途径之一。云计算是分布计算、并行计算和网格计算的发展，是一种新的分布式并行计算模式。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。将云计算技术与海量数据的Skyline查询相结合，可以通过开发查询计算的并行性来提高查询处理效率。

尽管随着技术的进步，各种软硬件资源的可靠性得到了显著提高，但是，随着云计算的资源规模的不断扩大，资源的失效概率明显上升。此外，为了有效降低维护成本，失效资源不是及时更新，而是成批维护的。在云计算环境下，资源失效是一种常态行为。

现有的Skyline查询方法主要关注查询处理过程及其查询结果的正确性，无法及时处理节点失效情况，无法有效兼顾Skyline查询处理的高效性和可靠性。因此，如何针对海量数据及其Skyline查询的本质特点，结合云计算环境的资源特点，设计高效可靠的分布并行Skyline查询方法，保证Skyline查询处理的效率和查询结果的正确性，已经成为并行与分布处理领域的热点研究问题。

发明内容

本发明要解决的技术问题是：针对现有的Skyline查询方法无法有效处理查询处理过程中的节点失效的问题，提出一种基于云计算环境的分布并行Skyline查询方法，有效控制节点失效对分布并行Skyline查询处理过程的影响，保证Skyline查询处理的高效性和可靠性、以及查询结果的正确性。

本发明技术方案包括以下步骤：

第一步，构建一个云计算环境，它由多个节点构成，每个节点都是一台可独立运行的计算机，各节点通过网络设备互连。

云计算环境中的节点分为两类：门户节点和计算节点。云计算环境包括一个门户节点，负责与用户交互，接收用户提交的查询请求并转发给计算节点，接收计算节点的查询处理结果并返回给用户。云计算环境包括N个计算节点(N为正整数)，它们负责存储原始数据集并执行查询处理任务，并向门户节点返回查询处理结果。为了提高可靠性，同时降低系统成本，采用互为备份方式对计算节点进行容错处理，以避免计算节点失效对Skyline查询处理的影响。互为备份方式是指每个计算节点是其他所有计算节点的备份节点，其他所有计算节点上的原始数据集的副本都存储在该计算节点上；每个计算节点有N-1个备份节点，计算节点上的原始数据集的副本存储在其N-1个备份节点上。门户节点和计算节点上均安装有操作系统、TCP/IP协议软件，配置了网络环境。

门户节点上安装有任务管理程序和结果回收程序。任务管理程序接收用户提交的Skyline查询请求，向各计算节点转发Skyline查询请求。结果回收程序负责接收计算节点的查询处理结果并返回给用户。计算节点上安装有查询处理程序和故障处理程序。查询处理程序负责接收来自门户节点的Skyline查询请求，并对计算节点上存储的原始数据集进行Skyline查询处理。故障处理程序负责定期对邻居节点进行故障检测，并进行故障修复。设计算节点的编号为i(i＝1，2，…，N)，当1≤i≤N-1时，计算节点i的邻居节点为计算节点i+1；当i＝N时，计算节点i的邻居节点为计算节点1。