[发明专利]基于多个监测指标的质量控制方法

说明书

本发明涉及一种基于多个监测指标的质量控制方法，主要包括：首先通过决策树的基本原理，利用控制变量对预测变量进行分类；然后利用分类结果对测试集进行测算，依据预测结果进行模型调整和优化。输出最终模型结果作为质控标准反向验证多个监测指标的检测样本是否对应决策树中所属类别的区间范围；如果多个监测指标的检测样本对应决策树所属类别的各区间范围内判断为正常监测值反之为异常值。本发明实现了自动化、智能化的可疑数据筛选和判断以及数据质量分析预判等功能，保障了数据的质量，为后期数据使用和环境预报预警提供有力支撑。

技术领域

本发明涉及监测指标的质量控制技术领域，尤其涉及一种基于多个监测指标的质量控制方法。

背景技术

针对大气监测数据缺少自动化质量控制手段的状况，现依据数据复合采用的技术方法设计相应算法，实现大气环境监测数据自动化智能质量控制技术，解决多源监测数据缺少自动化质量控制手段的问题，使大气监测设备的质量控制遵从同一套方法体系，推进监测设备远程自动化质控技术的发展。

现阶段由于各类环境观测设备监测数据结构、类型、质量等情况不统一，探索相关数学模型在质量控制方面的应用，从大气环境监测数据特征、监测数据与其他相关数据关联关系角度，提出有效且可实施的大气监测数据自动化、智能化质量控制技术。基于海量监测数据信息的环境监测数据质量监控体系，实现自动化智能化的可疑监测数据的筛选和判断及数据质量分析预判等功能，保障数据质量成为现分析急需解决的问题。

大气气象环境中利用关联性进行数据质量控制的方法目前还在研究阶段，但没有给出具体成型的方案，考虑到环境监测指标之间大多缺乏因果关系，从监测指标的产生原理获取数据存在一定的困难性。本方案从数据波动的角度或是数据关联的角度进行分析，通过决策树的分类方法确定每个类别对应每个监测指标指标的取值范围，利用决策树输出的参数范围进行反推所属类别是否在每个监测指标对应的取值范围内，如果超出范围可以判断为异常值。目前生态环境中大多利用决策树的进行质量评价，例如评价水环境是否达标或者是生态环境所属的级别等，目前还没有利用决策树进行数据质量控制。

发明内容

本发明的目的在于提供一种基于多个监测指标的质量控制方法，解决现有数据自动质量控制工作的不完整、不全面、不完善等问题。本发明主要是从大气环境监测数据特征出发设定每个决策树的输入参数和输出参数，利用决策树反推的技术进行质量检测。通过大数据分析技术获得连续时空的监控产品，最终形成标准的质控后的数据供参考和分析，解决多源监测数据缺少自动化质量控制手段的问题，使大气监测设备的质量控制遵从同一套方法体系。基于现阶段大量环境监测仪器运作产出的海量数据的基础上建立数据自动化审核机制，保障数据质量。同时考虑环境监测仪器采集数据一般以分钟为单位，自动化数据审核方式保证了数据产出及公布的及时性。同时本发明从大气环境监测数据特征出发，遵循大气环境个指标间内部运作规律、数据之间的相关关联性，解决海量监测数据量处理的巨大工作量。实现了自动化智能化可疑监测数据的筛选和判断及数据质量分析预判等功能，保障数据质量，为后期数据使用和环境预报预警提供有力的支撑。

一种基于多个监测指标的质量控制方法，主要包括以下步骤：

S1.首先对历史数据进行训练集和测试集的划分；

S2.利用训练集的数据构建决策树；

S3.构建好决策树后利用测试集数据进行验证，验证决策树构建的效果，并根据测试结果不断优化和调整模型；

S4.构建最终模型树型结构，输出分类结果中每个类别对应的监测指标取值范围以及每个树枝预测的准确率；

S5.选取决策树中预测准确率大于85％的树型作为质控标准，输出各树型对应的监测参数范围，利用反推过程对多个监测指标的检测样本进行质量控制；如果多个监测指标的检测样本的某个参数对应标准范围之外判断为异常值，反之为正常监测；