[发明专利]一种试验数据野值的辨识与修正方法

说明书

本发明涉及一种试验数据野值的辨识与修正方法，包括如下步骤：采集试验数据序列；将数据序列去除初始均值；逐点野值识别；修正野值；恢复初始值。利用上述步骤，完成试验数据野值的辨识与修正，能够解决斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题，有效地辨识和修复试验数据野值。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种试验数据野值的辨识与修正方法。

背景技术

试验数据是研究和分析设备工作性能指标的原始依据，试验数据数据质量的优劣直接影响数据处理分析结果、设备工作性能客观评估等。然而，数据从采集、编码、传输直至接收的过程要经历非常复杂的外部环境，譬如：记录器系统误差、电磁干扰和随机干扰等因素，数据不可避免地存在野值点或发生数据缺失的现象。在进行试验数据分析时，必须对数据进行预处理，准确辨识野值并进行修正，才能确保数据分析的有效性。

试验数据的野值一般包括孤立型野值和斑点型野值，孤立型野值以孤立点的形式出现，而斑点型野值往往以斑点状形式出现，连续多个采样点的数据异常。现有的野值识别方法大多利用时间序列中信号的时间相关性、数据统计特性对野值进行辨识，通过多项式外推拟合、最小二乘估计等方法进行修正。

这些方法对孤立型野值是很有效的，但对具有时间相关特性的斑点型野值却无法有效地识别。在实际处理过程中，斑点型野值的处理往往需要结合数据平滑性、递归趋势等数据先验信息进行主观性判读，然后直接剔除。斑点型野值的人工处理会带来判读效率低、判读精度差、数据缺失等问题，导致数据分析失效。因此，有效地辨识和修复试验数据野值，是数据处理领域亟待解决的难点。

发明内容

鉴于上述的分析，本发明旨在提供一种试验数据野值的辨识与修正方法，用以解决现有技术利用人工处理斑点型野值会带来判读效率低、判读精度差、数据缺失的问题。

本发明的目的主要是通过以下技术方案实现的：

一种试验数据野值的辨识与修正方法，其特征在于，包括以下步骤：

采集试验数据序列和时间序列；

将采集到的试验数据序列除去初始均值，得到修正数据x^MOD：x^MOD＝x-Mx；

对去除初始均值的数据序列，顺序逐点判断野值；

将判断为野值的数据进行修正。

本发明有益效果如下：采用本方法检验判断野值，不但能检验出孤立型野值，也能解决现有技术对检验斑点型野值不敏感的缺陷，与人工检验相比大大提高了野值判断的效率，实现了试验数据野值的自动判断与修正。

在上述方案的基础上，本发明还做了如下改进：

进一步，所述试验数据序列表示为x＝[x₁,…,x_k,…,x_m]，时间序列表示为t＝[t₁,…,t_k,…,t_m]，其中1≤k≤m，时间序列t和数据序列x均包含m个数值，t_k和x_k分别为第k个时间点与第k个试验数据值。

采用上述进一步方案的有益效果是：将采集到的实验数据序列与时间序列一一对应，可以在确定野值的同时对应相应的时间点。有效提高检验效率，避免数据混乱。

进一步，所述顺序逐点判断野值包括：

计算第k点数据的估计值；

计算修正数据x^MOD的标准差，根据标准差与估计值判断该点数据是否为野值。

采用上述进一步方案的有益效果是：逐点判断野值不但能检测出孤立型野值，还可以避免现有技术利用平滑性、递归性无法检验斑点型野值的缺陷。