[发明专利]一种基于数据差值的桥梁渐进式漂移数据清洗方法

说明书

本发明公开了一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括：获取传感器原始数据；计算原始数据之间相邻数据的差值；通过Super Smoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。本发明能够准确识别信号波动较为缓慢的数据中渐进式漂移现象，提高原始数据的处理效率，且能够最大程度还原真实监测数据，为后续结构状态分析提供有效数据。

技术领域

本发明属于桥梁健康监测数据分析研究领域，具体涉及一种基于数据差值的桥梁渐进式漂移数据清洗方法。

背景技术

数据清洗是桥梁健康监测数据后续分析挖掘的基础，也是监测数据价值得以实现的步骤。随着国内桥梁健康监测系统技术的逐渐成熟和广泛使用，数据清洗的重要性也与日俱增。其中，监测数据漂移现象在桥梁健康监测过程中较为常见，其产生的主要原因在于传感器本身出现故障或者受到外界环境的干扰。数据漂移的表现形式为：监测数据会产生整体或部分偏移，在时域上某时段内局部向上或者局部向下偏移，出现一种不连续状况，但异常偏移部分数据的形态和趋势并无异常。

目前观测到的数据偏移分为主要两种情况，一种为整体式漂移，另一种为渐进式漂移。整体式漂移表现为，数据在某时段内整体向上或者向下漂移，这种漂移容易识别且方便设计算法进行修正；而对于渐进式漂移现象，该种形式的漂移识别较为困难，主要是由于其数据本身的波动较难识别。因此，针对上述数据异常的缺点，迫切需要发展一种针对渐进式漂移现象识别清洗的方法。

发明内容

本发明所要解决的技术问题是针对上述现有技术的不足提供一种基于数据差值的桥梁渐进式漂移数据清洗方法，本基于数据差值的桥梁渐进式漂移数据清洗方法能准确有效地处理桥梁健康监测中信号波动较为平稳的渐进式漂移数据问题。

为实现上述技术目的，本发明采取的技术方案为：

一种基于数据差值的桥梁渐进式漂移数据清洗方法，包括以下步骤：

步骤1：获取传感器原始数据；

步骤2：计算原始数据之间相邻数据的差值；

步骤3：通过Super Smoother算法对原始差值数据提取趋势数据，得到原始差值数据与趋势数据的差值；

步骤4：采用区间估计理论，根据原始差值数据与趋势数据的差值的均值和标准差，得到原始差值数据与趋势数据的差值的正常值的变化范围；

步骤5：寻找原始差值数据与趋势数据的差值处于置信区间以外的数据位置，确定原始数据中漂移异常值的位置并进行清洗。

作为本发明进一步改进的技术方案，所述的步骤1具体包括：

获取桥梁健康监测系统中传感器采集的原始数据{x_i},i＝1,2,…,n，其中n为原始数据个数。

作为本发明进一步改进的技术方案，所述的步骤2具体包括：

通过计算{x_i},i＝1,2,…,n之间相邻数据的差值，得到数值序列{d_i},i＝1,2,…,n-1，其中d_i＝x_i+1-x_i。

作为本发明进一步改进的技术方案，所述的步骤3具体包括：

步骤3.1：采用Super Smoother算法提取原始差值数据的趋势数据{s_i},i＝1,2,…,n-1；