[发明专利]一种基于滑动窗口的尾矿砂液化数据聚类方法

说明书

本发明提供一种基于滑动窗口的尾矿砂液化数据聚类方法，包括如下步骤：S1：对尾矿砂液化数据进行标准化处理，得到标准化数据集；S2：滑动窗口模型遍历所述标准化数据集，并计算每个滑动窗口内标准化数据的标准差，所有标准差形成标准差数据集；S3：计算标准差数据集的均值和标准差，根据所述标准差数据集的均值和标准差和拉依达准则得到多个分段数据集；S4：计算每个所述分段数据集的聚类半径；S5：每个所述分段数据集根据其所述聚类半径和聚类算法进行聚类；S6：将不在任何簇中的数据作为异常点输出。本发明采用了滑动窗口对数据进行划分的方法来降低全局参数对DBSCAN聚类效果的影响。该方法与传统DBSCAN方法相比，具有明显提升。

技术领域

本发明涉及尾矿砂液化数据研究技术领域，具体而言是一种基于滑动窗口的尾矿砂液化数据聚类方法。

背景技术

根据相关统计，目前我国尚存尾矿一万多座，这些尾矿大多介于安全与不安全之间，具有巨大的安全隐患。据调查，近年发生的尾矿液化坍塌事件中由于地震引起的占12％，而我国尾矿库大多属于上游式尾矿，一旦发生液化失稳事故，将会产生类似泥石流一般的灾害，对下游的居民和环境造成严重影响。虽然地震液化进而导致尾矿溃坝事件在国内较为少见，但1976年唐山大地震中，大石河尾矿出现了典型的喷砂冒水现象，并在之后被证实出现液化。国外的坝体液化失稳事故也多次出现，如1978年日本Mochikoshi 1#尾矿坝出现液化现象，2号坝体在震后约24小时发生溃坝；1965年智利La Ligua地震中EI Cobre的尾矿出现大面积液化最终导致严重的溃坝事故，导致200多人丧命。由于种种原因，研究尾矿砂在地震作用下的液化规律变得十分重要。然而因为地震的突发性和特异性，而且破坏力巨大，导致在自然发生条件下研究尾矿砂液化现象几乎不可能发生，只能采取人工模拟地震实验方法收集数据进行砂土液化规律的研究。而在数据采集中，由于人为因素、自然条件和设备故障等问题，不可避免会出现数据异常，这些异常数据会对液化规律研究造成重要影响。

异常点又称为离群点、差异点、偏离点等，即一个显著不同于其他数据分布的数据对象。异常点的产生大致可以分为以下几类：数据来源异常，这类异常的出现往往代表着异常情况的产生，例如不同寻常的网络访问可能代表着网络攻击的发生；具有学术研究价值的外在表现为异常点的数据，例如粒子图谱上的特殊峰值；数据测量和收集误差，主要由人为因素、测量误差或产品故障导致的，例如传感器故障造成的错误数据，这类数据不提供有用信息，而且会导致数据质量降低，因此目的是消除这类异常数据。

传统的异常检测方法包括基于统计、基于分类、基于相似度衡量的方法等。基于统计的方法式为数据集找到一个合适的概率分布模型，在这个模型上的极值点作为异常点；基于分类的方法是找到一个可供数据集映射的低维子空间，不能映射到子空间的数据即为异常数据；基于相似度衡量的异常检测方法又分为以下几种，基于距离的、基于密度的和基于聚类的，基于距离的方法认为如果在数据集上有极少数点到其中某一个数据点的距离小于阈值，这个点就是异常点；基于密度的方法定义的局部异常因子，反映了该点的密度与它的近邻密度之间的对比度，异常因子值越大，则该点为异常点的可能性越大；基于聚类的方法将数据聚类成为多个簇，不属于任何簇或稀疏簇中的点被认定成为异常点。

DBSCAN聚类算法常被用在数据检测中，不包含在任何簇类中的点被认为是异常点。但由于地震的随机性、复杂性和土壤的不确定性，使得数据规模大、模式复杂并且缺少周期性，传统的DBSCAN聚类很难适用。

发明内容

根据上述技术问题，而提供一种基于滑动窗口的尾矿砂液化数据聚类方法。

本发明采用的技术手段如下：

一种基于滑动窗口的尾矿砂液化数据聚类方法，包括如下步骤：

S1：对尾矿砂液化数据进行标准化处理，得到标准化数据集；

S2：滑动窗口模型遍历所述标准化数据集，并计算每个滑动窗口内标准化数据的标准差，所有标准差形成标准差数据集；