[发明专利]基于窗口的流式数据缺失处理方法

权利要求书

1.一种基于窗口的流式数据缺失处理方法，其特征在于，所述基于窗口的流式数据缺失处理方法通过对流式数据提供滑动窗口，根据数据流的大小动态调整窗口大小；利用数据内部的时间和空间特性对缺失数据进行填补，实现流式数据的缺失填补；

所述基于窗口的流式数据缺失处理方法包括以下步骤：

步骤一，输入数据流；

步骤二，选取初始窗口大小，判断窗口中的数据是否缺失；窗口大小选取和数据流数据缺失判断方法具体包括：

初始窗口大小的选取根据数据流入速率进行设置，然后读取窗口中的数据，如果存在缺失则进行下一步处理，如果不存在缺失则进行窗口滑动，滑动大小为当前窗口大小；

步骤三，滑动窗口大小调整；计算饱和可用窗口大小W_max；计算当前窗口W_cur大小，计算数据为空的子窗口NSW_null大小；调整窗口大小；动态滑动窗口评估方法具体包括：

(1)当前窗口W_cur大小计算，采用最大饱和可用窗口W_max的一定比例来获取得；

(2)调整窗口大小的方法，保持η的大小在0.8-0.9的范围内波动，然后动态调整SW的大小，当窗口占比增大到0.9则减小W_cur的大小，否则当窗口占比减小到0.8则增大W_cur的大小，其中表示数据窗口占比，SW为窗口大小；

步骤四，窗口锁定，保持窗口大小并存储窗口中的数据；

步骤五，进行不完备信息处理，判断数据是部分缺失还是整体缺失；是部分缺失判断是位置信息缺失还是信号信息缺失，或者两部分都缺失，利用算法填充；全部缺失，判断是什么情况缺失，利用算法填充；

所述步骤五位置信息部分缺失的填充方法采用差值法填充，任意第i项数据与第j项数据之间的相关性采用数据相关性公式计算，可以采用但不仅限于如下计算公式：

其中：j＝1,2,...,i-1,i+1,...,n；y_ik代表第i条数据项的第k个属性值，y_jk代表第j条数据的第k个属性值；y_i代表第i数据项的平均值，y_j代表第j条数据项的平均值；

所述步骤五缺失类型判断方法具体如下：

在读取窗口中的数据时，根据数据帧的情况，在读取到缺失数据位以后，根据缺失部分位于数据帧中的位置来判断具体缺失情况;

信号信息部分缺失情况方法采用空间最近邻方法具体包括：对各个传感器节点找到自己空间相关的节点信息，保存在本身的信息存储单元中；找到缺失数据节点的缺失数据项，相邻的空间相关性节点的相同或相近的时刻点的数据项，对数据项进行求均值，把结果填充到缺失的数据位；

所述步骤五特征全部缺失情况采用如下步骤：

(1)位置信号全而信号信息缺失，对缺失信息不处理，直接输出；

(2)信息中的信号信息是全的，位置信息全部缺失，采用灰度预测方法进行填充；

(3)位置信息全部缺失时，并存在信号信息缺失的情况，对信息无法进行处理的，丢弃数据；

步骤六，输出完备数据流。

2.一种应用权利要求1所述基于窗口的流式数据缺失处理方法的无线通信系统。