[发明专利]一种不确定数据流概率求和阈值查询方法

说明书

本发明公开了一种不确定数据流概率求和阈值查询方法，属于不确定数据流查询处理技术领域。所述方法包括：1)初始化，包括查询参数设定和使用高斯混合模型对不确定数据流进行建模；2)使用基于高斯混合模型性质和概率理论的过滤策略得到结果的上界或下界，从而快速做出判断；3)当过滤策略无效时，使用滑动窗口模型计算出准确的值，通过增量式计算减少计算代价。本发明提出的不确定数据流概率求和阈值查询方法在集群监测、健康监测和智能安防等领域具有广阔的应用前景。

技术领域

本发明涉及不确定数据流查询处理技术领域，具体涉及一种不确定数据流概率求和阈值查询方法。

背景技术

随着传感和网络技术的发展，数据流可以被广泛获取。由于设备的固有误差，环境噪声的干扰，通过推理来恢复丢失的信息等，数据流中的数据通常是基于概率的表示。简单地计算这些不确定数据的统计信息(例如：均值和方差)将丢失有用的信息，甚至得出不正确的结论。不确定数据流管理通过采用不确定数据模型来支持概率查询，可以解决这些问题，其中概率求和查询(probabilistic sum query)是重要的查询类型，该查询以大量的不确定数据(如概率分布函数)为输入，返回概率分布作为结果。在许多监控应用中，只需要知道结果分布是否超过用户定义的阈值。下面给出一个例子。

示例1：温度监测。六个传感器同时测量一物体的温度。由于传感器的固有误差和噪声信号的干扰，温度读数会产生误差。使用数据融合技术(如密度估计)将六个传感器的温度读数转换为概率分布。然后，聚合不同时刻的概率分布来检测异常。为此，监视应用程序设计了如下查询：

查询：在最近的10分钟内，平均温度超过60度的概率大于80％吗？

当查询结果为“true”时，将触发报警。

上述查询明确考虑最近10分钟集群整体的负载波动，并将两个阈值引入概率求和查询，一个是概率阈值，另一个是得分阈值。该查询即为不确定数据流概率求和阈值查询，是不确定数据流概率求和查询的扩展。

虽然已有大量不确定数据流上概率求和查询的研究工作，这些不确定数据流概率求和查询方法大多侧重于通过提出空间和时间高效的算法来获得基于无界数据流模型的近似结果。还有一些方法通过滑动窗口模型来处理新到来和过期的元组，实现结果的增量式更新。此外，已有的概率阈值查询方法中，虽然设计了各种过滤策略(例如：基于距离的过滤和基于概率的过滤)，但这些查询的过滤策略是针对其特定的查询类型设计的，不同查询类型的阈值语义在本质上存在区别(例如，概率范围阈值查询中的两个阈值：范围阈值和概率阈值；概率求和阈值查询中的两个阈值：得分阈值和概率阈值)。目前未见不确定数据流概率求和阈值查询方法。朴素的解决方案是在执行概率求和查询之后再考虑阈值约束，得到最终的结果。由于将查询处理和阈值计算分离，该方案的计算效率十分低下(即计算任意给定滑动窗口的结果分布不是必须的)。

发明内容

为了解决如何高效处理不确定数据流概率求和阈值查询的技术问题。本发明提供了一种不确定数据流概率求和阈值查询方法。

本发明的技术方案为：

一种不确定数据流概率求和阈值查询方法，所述方法包括以下步骤：

(1)将连续不确定数据进行滑动窗口的划分以及对每个窗口内的随机变量进行高斯混合模型建模，即利用高斯分布表示随机变量；

(2)基于滑动窗口内随机变量之和的第一阶矩和第一阶方差、第二阶矩和第二阶方差对随机变量进行两次过滤判断，在依据第一阶矩和第一阶方差进行第一次过滤判断能够得到获得查询结果时，输出查询结果并返回到步骤(1)，在依据第一阶矩和第一阶方差进行第一次过滤判断不能够得到获得查询结果时，依据第二阶矩和第二阶方差进行第二次过滤判断，在能够得到获得查询结果时，输出查询结果并返回到步骤(1)，不能够得到获得查询结果时，进入步骤(3)；