[发明专利]基于窗口的流式数据缺失处理方法

说明书

本发明属于信息检索及其数据库结构技术领域，公开了一种基于窗口的流式数据缺失处理方法，包括：输入需要处理的含有缺失数据的数据流；判断流式数据是否缺失；动态滑动窗口评估；窗口锁定；不完备信息处理；输出处理后的完备数据流结果。通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，对流式数据的缺失填补。本发明具有分类精度较高，运行时间复杂度低，计算资源利用率高等特点，有效的克服了现有处理方法存在的方式单一，时空复杂度高等问题。

技术领域

本发明属于无线通信、信息检索及其数据库结构技术及领域，尤其涉及一种基于窗口的流式数据缺失处理方法。

背景技术

目前，业内常用的现有技术是这样的：传感器网络通常用来监测不同位置的物理或环境状况，网络在获取数据后会传输到数据中心对数据进行分析和显示。在节点所环境中，通常由于传感器网络自身硬件和软件的局限性，加上监测中遭到各种不利因素例如天气、人为、电磁辐射以及向中心传输过程中传输信道不稳定等影响，传感器网络中的节点在监测和获取信息的过程中，会出现数据缺失的情况，在数据中心接收到的数据将会是不完备的数据。数据的缺失，一般分为数据单重缺失和数据多重缺失，单重缺失是指数据中单一属性值的缺失，而多重缺失是存在多重属性值的缺失。传感器网络中数据通常是具有时间相关性和空间相关性的，时间相关性是指对同一个传感器而言，其获得的数据在时间上是具有前后关系的，而空间相关性是指网络中各个节点之间在位置接近，它们获得的数据之间具有一定的内在关系，这种内在关系就是空间相关性。在传感器网络的正常工作中，中心获得的各个传感器的数据是流式数据。在对含有缺失数据的流式数据进行处理中，通常需要计算数据的相关特性，同时需要存储一定数据。这些在处理过程所需要的计算量通常用时间复杂度度量，需要的存储空间通常用空间复杂度度量，流式数据由于其数据量大的特点，通常在处理中需要较大的时间复杂度和空间复杂度，这也会带来一些获取数据具有一定时延的问题。在一些特殊的场景例如实时监控领域，数据中心需要具有较小时延的数据来实时反映监控区域的状态，因此在处理的过程中需要很好的解决时延问题。

现有技术一提出采用三阶段法进行填充，第一阶段特征挑选阶段即挑选具有缺失数据的特征和完备数据特征，然后利用K最近邻方法填充，最后利用贝叶斯定理进行后验校正。但是利用K最近邻方法本身具有一定缺陷，参数的选取对结果的影响很大，可能由于K值的选取不合适而造成结果误差较大，而且K最近邻方法计算复杂度高在流式数据处理过程中会造成很大时延，同时因为使用贝叶斯定理需要数据的统计特性，而在流式数据的情况下，无法精确获得数据的统计结果，因此该方法不适用于具有流式数据的缺失处理。现有技术二利用分类器方法来对数据进行分类，然后基于同类数据中的相关性，对同一类中的缺失数据利用该类数据集数据均值进行填充，从而提高缺失数据处理精度。但该方法利用的分类器方法是基于不相关数据来进行，即具有不相关属性的一些数据才可以进行分类，如果数据集内部数据的关联性很大，即每种数据之间都是关联的，那么该方法就无法将它们分开，因此就无法进行填充。传感器网络中的数据本身就存在时间和空间相关性，对同一环境数据进行感知时，各个传感器获得的数据内部具有相关，利用该方法无法将它们分类开，因此在此场景之下该方法不适用，而且分类器方法本身存在一个分类的过程，该过程耗时计算量大，在面对流失数据时同样会存在处理延时较大的问题，因此该方法不适用于流式数据处理。

综上所述，现有技术存在的问题是：

(1)采用三阶段法进行填充形式单一，无法解决多重缺失填补问题，同时无法满足流式数据处理需要的低时延的条件。

(2)利用分类器来分类并利用分类后的数据进行缺失数据填充，该方法无法解决具有内部数据属性之间具有较关联大关系的数据的分类问题

(3)现有技术主要针对静态数据集的数据填充，在面对流式数据的缺失处理问题时，其方法在计算时时间复杂度和空间复杂度高，同时没有解决数据流的流量控制问题。