[发明专利]一种基于LS-KNN的管道漏磁内检测缺失数据插补方法

说明书

本发明提供一种基于LS‑KNN的管道漏磁内检测缺失数据插补方法，涉及故障诊断和人工智能技术领域。包括：对原始数据预处理后作为数据样本；提取样本数据特征；设定K值对模型进行训练，得到满足条件的KNN模型；归一化处理分到每类中的特征样本及其对应的数据集，再用最小二乘法对处理后的数据进行拟合建模；计算拟合结果的损失函数，设定误差阈值，令所有样本的长度相同，得到满足条件的LS拟合模型；将含缺失的数据输入到LS‑KNN回归器中，实现对缺失数据的插补；对插补结果进行反归一化得到最终的插补数据。本方法克服了实际数据的缺失随机性，并克服了训练样本与待插补样本维度不同的问题，同时提高了数据插补精度，对信号噪声具有很强的鲁棒性。

技术领域

本发明涉及故障诊断和人工智能技术领域，具体涉及一种基于最小二乘-K-最近邻(LS-KNN)的管道漏磁内检测缺失数据插补方法。

背景技术

随着国家经济的不断发展，对能源的需求越来越多，其中石油、天然气是重要的能源和化工原料，对人民生活、工农业生产和国防建设都具有至关重要的作用。然而输油管道长期处于恶劣的工作环境中，管道表面的腐蚀现象越来越严重，可能导致管网泄露，容易引起燃烧爆炸等危害，会引起环境污染甚至造成人员伤亡等重大事故。

漏磁内检测技术是实际中最常用的管道无损检测方法之一，该方法具有易于实现自动化、检测速度快、效率高、成本低、无污染等优点。海底管道漏磁内检测仪把检测到的大量数据保存并记录下来，由于受传感器和环境等影响可能会产生一些异常和缺失，提高漏磁内检测信号的准确性和有效性的关键技术是对漏磁检测仪直接导出的漏磁信号进行预处理技术，其中重要的一部分是对缺失数据进行插补，数据插补保证了数据完整性，为后续拥有准确的数据处理和数据分析结果奠定基础，为输油管道的安全保驾护航。

漏磁内检测缺失数据插补，是通过对缺失数据周围信号的分析来预测未知值。数据插补的算法有很多，常用的数据插补算法有多项式插补法、回归插补法和多重插补法等，各插补法都具有一定的局限性，具体如下：

多项式插补法：(1)对周围数据特征不明显的情况无法确定准确的多项式模型，很难实现准确的插补；(2)在插补数据的边缘可能会产生振铃现象；(3)若数据缺失较多，插补结果可能会产生很大的误差。

回归插补法：(1)该方法的假设前提是无回答变量与所选取的辅助变量存在一定的线性关系，但是这种线性关系并不是在所有情形下都是成立的；(2)该方法在使用时容易忽略对随机误差项的处理，即使回归插补的参数估计是无偏的，但由于忽略误差项的处理方式也会导致各种可能的测量值。

多重插补法：(1)多重插补法随着待插补的数据量的增量，可能陷入局部最优；(2)多重插补法的算法复杂度相对较高，运算速率可能受到很大影响。

发明内容

针对现有技术存在的问题，本发明提供一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，在漏磁数据中，对于无缺陷数据的数据特征，用最小二乘法(LS)对其进行线性拟合建模，对于缺陷数据，则用最小二乘法进行非线性拟合建模，再用最小二乘算法对训练样本与待插补数据建立线性拟合模型，最后将K-最近邻(KNN)算法的每个类别中加入两个最小二乘线性回归模型，实现对漏磁缺失数据的插补，解决了数据样本维度不同，漏磁缺陷处数据缺失、数据缺失量较大等问题。

为了实现上述目的，一种基于LS-KNN的管道漏磁内检测缺失数据插补方法，包括以下步骤：

步骤1：从海底管道漏磁检测仪中直接采集原始漏磁检测数据，并且对数据进行预处理，包括二次基线校正和异常数据剔除，具体步骤如下：

步骤1.1：对采集到的原始漏磁检测数据进行基线校正；

步骤1.2：根据管道的焊缝位置对管道进行分段，具体步骤如下：

步骤1.2.1：令通道数量m＝1；

步骤1.2.2：求取管道漏磁内检测数据单通道的均方差；