[发明专利]基于自适应约简阈值的物联网感知数据约简系统及方法

说明书

本发明公开一种基于自适应约简阈值的物联网感知数据约简系统及方法，系统包括数据加载模块、自适应数据约简模块和数据重建模块；采用这个系统进行数据约简的方法基于实时的物联网感知数据，在传感器端通过概念漂移检测对数据变化趋势建模，基于漂移检测动态自适应确定卡尔曼滤波器的约简阈值，基于卡尔曼滤波器的数据估计与实际值之差约简数据并将约简后的数据和建模的数据趋势上传至边缘端，在边缘端根据约简后数据与数据趋势重建数据，最终达到在保证数据准确率和数据质量的前提下减少数据采集和传输的目的，同时可以显著降低传感器节点的能源消耗以及边缘端数据存储。

技术领域

本发明涉及网络数据通信技术领域，尤其涉及一种基于自适应约简阈值的物联网感知数据约简系统及方法。

背景技术

随着物联网技术的发展，移动设备、传感器等物联网设备实时采集、传输大量感知数据。边缘计算强调网络边缘上的计算和存储，靠近边缘端的传感器设备频繁采集并上传数据会极大消耗传感器的能量。其中传感器通信消耗的能量最大，通常传输1比特数据消耗的能量比一个32位计算设备计算一次消耗的能量高1000倍。边缘计算下的传感器节点的能量仅依靠电池，一旦部署，通常无法充电。面对能耗、传输量和存储等约束，如何在保证边缘计算数据准确性的前提下，减少传感器端与边缘端之间的数据通信，是边缘计算下数据约简问题的关键。

基于卡尔曼滤波器的数据约简方法主要是通过建立基于时间序列的预测模型，使其能够在数据约简误差阈值内预测传感器数值。该模型同时位于传感器节点和边缘端，在传感器节点判断预测值满足所需的精度时无需传输数据，否则上传感知数据到边缘端并更新模型。误差阈值较小时，会有大量的数据被视作异常数据传输到边缘端，此时，数据约简率较低，数据重建准确率较高。在卡尔曼滤波器模型运行中，误差阈值越大，数据约简率越高，数据重建后准确率会随之越来越低，卡尔曼滤波阈值对数据约简效果起关键影响。然而，现有技术对于数据趋势和规律频繁变化的物联网环境适应性不足，固定的阈值设定无法满足适应不同的物联网感知数据变化，也无法满足高数据约简率和高数据重建准确率的平衡。同时，传统卡尔曼滤波器方法无法根据现实环境中具体的数据变化规律动态调整数据约简率，因此边缘端的重建数据与实际数据存在差距，影响了数据应用。

发明内容

针对上述现有技术的不足，本发明提供一种基于自适应约简阈值的物联网感知数据约简系统及方法。

为解决上述技术问题，本发明所采取的技术方案是：一种基于自适应约简阈值的物联网感知数据约简系统，系统包括数据加载模块、自适应数据约简模块和数据重建模块；

所述数据加载模块加载多种不同类型的感知数据，并将感知数据加载至内存中供自适应数据约简模块进行处理；

所述多种不同类型的感知数据包括：

(1)txt、csv和xlsx格式的静态数据；

(2)存储于数据库中的静态数据；

(3)实时采集的流式动态数据。

所述自适应数据约简模块接收数据加载模块所收集到的感知数据信息，分析感知数据漂移情况，并动态生成卡尔曼滤波器阈值进行数据约简；

进一步的，所述自适应数据约简模块包括概念漂移检测单元、动态阈值调整单元和设备端数据约简单元；

所述概念漂移检测单元用于检测感知数据是否发生概念漂移，将漂移判断结果提供给动态阈值调整单元；

所述动态阈值调整单元基于漂移结果动态生成卡尔曼滤波器的阈值；

所述设备端数据约简单元基于动态生成的卡尔曼滤波器阈值基于数据预测的方法进行数据约简。

所述数据重建模块包括边缘端数据重建单元，所述边缘端数据重建单元基于自适应数据约简模块的约简结果和感知数据漂移情况，根据卡尔曼滤波器重建还原数据。