[发明专利]针对监测数据的粗差识别及剔除方法、系统、服务器及计算机可读存储介质

说明书

本发明提供了一种粗差识别及剔除方法、系统、服务器及计算机可读存储介质，粗差识别及剔除方法，包括以下步骤：获取监测数据，并基于最大熵原理，求解监测数据所在序列的最大熵概率密度函数；根据预设的等级划分标准，对监测数据的数据点的可信度进行划分，形成多个可信度等级，并基于层次分析算法，建立一致性判断矩阵：对于分位点c_i，随机产生k个判断矩阵，并计算k个判断矩阵的一致性比例，求解最优分位点c_best；根据最优分位点c_best，在n％范围内划分监测数据的可信度等级的临界概率，并根据临界概率密度函数确定可信度等级的临界值。采用上述技术方案后，可通过对监测数据进行精准清洗，提高监测数据的可靠性，为监测数据的分析打下基础。

技术领域

本发明涉及安全监测领域，尤其涉及一种针对监测数据的粗差识别及剔除方法、系统、服务器及计算机可读存储介质。

背景技术

水工安全领域中，对于监测数据的分析具有重大意义。然而，数据本身的真实性将大大影响分析结果，且实际上，监测数据的序列中难免因某些原因而产生明显与实际情况不符的数据信息，即粗差。粗差的存在会严重影响后续监测数据分析的计算精度。事实上，粗差数据的出现，尤其是较大粗差的出现会导致经典平差结果严重失真或者完全不能使用，为了保证监测数据的处理进度，粗差是在进行安全监测数据分析前必须剔除的数据。

现有技术中，通过观察监测数据的过程线，凭借工程经验，人为剔除粗差。目前主要的粗差剔除方法有拉依达准则、狄克逊准则、极限误差法等，常规的粗差剔除方法都具有一定的局限性，如某些检验参数的取值都是采用某种数学方法计算出来的估计值，残差的计算也存在近似的过程，因此这些方法有时无法准确的识别粗差数据的存在。

因此，需要一种新型的针对监测数据的粗差识别及剔除方法，可提高监测数据的可靠性，提高数据清洗的工作效率。

发明内容

为了克服上述技术缺陷，本发明的目的在于提供一种针对监测数据的粗差识别及剔除方法、系统、服务器及计算机可读存储介质，通过对监测数据进行精准清洗，提高监测数据的可靠性，为监测数据的分析打下基础。

本发明公开了一种针对监测数据的粗差识别及剔除方法，包括以下步骤：

S100：获取监测数据，并基于最大熵原理，求解监测数据所在序列的最大熵概率密度函数；

S200：根据预设的等级划分标准，对监测数据的数据点的可信度进行划分，形成多个可信度等级，并基于层次分析算法，建立如下一致性判断矩阵：

其中，L₁、L₂分别表示不同的可信度等级的权重对比，取值范围在1～9间；

S300：对于L₁、L₂的每个1～9标度之间的分位点c_i，随机产生k个判断矩阵，并计算k个判断矩阵的一致性比例，以此作为粒子群算法的适应度函数，求解最优分位点c_best；

S400：根据最优分位点c_best，在n％范围内划分监测数据的可信度等级的临界概率，并根据临界概率密度函数确定可信度等级的临界值，以实现监测数据的粗差识别与剔除。

优选地，步骤S100包括：

S110：获取监测数据；

S120：基于最大熵原理构造如下最大熵模型：

maxH(x)＝-∫_Rf(x)lnf(x)dx

s.t.∫_Rf(x)dx＝1