[发明专利]基于自适应约简阈值的物联网感知数据约简系统及方法

权利要求书

1.一种基于自适应约简阈值的物联网感知数据约简系统，其特征在于，系统包括数据加载模块、自适应数据约简模块和数据重建模块；

所述数据加载模块加载多种不同类型的感知数据，并将感知数据加载至内存中供自适应数据约简模块进行处理；

所述自适应数据约简模块接收数据加载模块所收集到的感知数据信息，通过对感知数据进行概念漂移检测，根据漂移情况减小或增大卡尔曼滤波器阈值进行数据约简；

所述数据重建模块包括边缘端数据重建单元，所述边缘端数据重建单元基于自适应数据约简模块的约简结果和感知数据漂移情况，根据卡尔曼滤波器和数据趋势重建还原数据。

2.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述多种不同类型的感知数据包括：

(1)txt、csv和xlsx格式的静态数据；

(2)存储于数据库中的静态数据；

(3)实时采集的流式动态数据。

3.根据权利要求1所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述自适应数据约简模块包括概念漂移检测单元、动态阈值调整单元和设备端数据约简单元；

所述概念漂移检测单元用于检测感知数据是否发生概念漂移，将漂移判断结果提供给动态阈值调整单元；

所述动态阈值调整单元基于漂移结果动态生成卡尔曼滤波器的阈值；

所述设备端数据约简单元基于动态生成的卡尔曼滤波器阈值基于数据预测的方法进行数据约简。

4.根据权利要求3所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括离线数据约简效果分析单元，根据数据约简率和重建准确率分析数据约简和重建的效果。

5.根据权利要求4所述的基于自适应约简阈值的物联网感知数据约简系统，其特征在于：所述数据重建模块还包括传感器端模型更新单元，基于分析后的约简效果，提供对传感器端自适应数据约简模块的更新辅助，具体包括概念漂移检测单元、动态阈值调整单元的更新。

6.采用权利要求1至5中任意一项所述的基于自适应约简阈值的物联网感知数据约简系统进行数据约简的方法，其特征在于，包括如下步骤：

步骤1：将数据库和文件形式的静态数据或动态采集的物联网感知数据统一加载到内存中；

步骤2：对存储到内存中的物联网感知数据进行概念漂移检测，并基于概念漂移检测结果动态自适应生成卡尔曼滤波器的阈值；

步骤3：根据动态生成的卡尔曼滤波器阈值，在设备端对步骤1中的物联网感知数据进行数据约简；

步骤4：根据步骤3所得的约简后的感知数据，在边缘端重建原始的物联网感知数据；

步骤5：对比步骤4得到的重建后的感知数据与原始数据，计算数据约简率和重建准确率。

7.根据权利要求6所述的采用基于自适应约简阈值的物联网感知数据约简系统进行数据约简的方法，其特征在于，所述步骤2的过程如下：

步骤2.1：存储当前误差阈值e_max、阈值最小值min_error、阈值最大值max_error；

步骤2.2：通过概念漂移检测算法检测到物联网感知数据在短时间内的变化，当发生概念漂移时，减小当前误差阈值，并将阈值最小值设置为当前误差阈值e_max和阈值最小值min_error中的最小值min{e_max，min_error}，从而保证数据约简阈值大于约简阈值的最小值；

步骤2.3：没有发生概念漂移时，提高当前误差阈值，并将阈值最大值设置为当前误差阈值e_max和阈值最大值max_error中的最大值max{e_max，max_error}，从而保证数据约简阈值小于约简阈值的最大值。