[发明专利]环境自动监测网络的数据异常值标识方法及系统

说明书

本发明公开了一种环境自动监测网络的数据异常值标识方法及系统，方法包括：根据基站系统自动识别、基站人工审核和实时数据平台的专家识别、平台人工审核这四个数据来源对环境监测网络的数据标识体系进行统一定义，得到来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构；根据来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构，对基站层和平台层的异常值进行识别，并采用改进的数据标识同步算法实现基站层异常值和平台层异常值的同步。本发明增设了模式跟踪数据和标识演绎标识，并提出了实时数据平台的异常值识别算法，溯源效率高、精确度高、全面、可靠、科学和准确，可广泛应用于环境监测领域。

技术领域

本发明涉及环境监测领域，尤其是环境自动监测网络的数据异常值标识方法及系统。

背景技术

环境自动监测网络是环境质量科学表征的重要数据来源，其目的是获得高质量的环境监测数据，并由此推断整个环境现有的质量特征。环境自动监测网络除了拥有一般环境监测的要素外，自身还具备基站长期实时不间断监测、基站与实时数据平台数据同步对接、实时数据平台对海量数据自动分析统计等特点。针对环境自动监测网络独有的技术特点，研发异常值标识技术，将提升环境自动监测网络数据审核工作的科学性和逻辑性，极大提高了环境自动监测网络的数据质量，保证数据审核质量和效率。

目前，监测网络数据的异常值标识技术存在以下问题：

（一）数据标识的不完善

目前对网络数据的异常值采取在其后嵌入数据标识的技术方法。这种方法可有效地避免异常值纳入数据统计，但因其对质控工作溯源时没有对异常值的原因（如仪器质控和外界环境因素等）进行垂直的追踪，平台数据管理人员无法追踪判断数据质量的真实情况。为解决此问题，数据管理人员需查询基站的工作日志和询问基站维护人员，质控工作的溯源工作效率低下且导致容易因询问导致出错。

（二）识别来源的缺失或不统一

环境自动监测网络的数据异常值的来源包括基站系统自动识别、基站人工审核和实时数据平台的专家识别和平台人工审核等，这四种来源在网络的数据审核体系里是互相联系、互相制约和不可割裂的，应作为一个系统整体的有机结合。

但目前仍没有相关的技术把四类数据标识归纳统一，导致不同阶层的数据审核者往往只能考虑一个来源的数据标识，不够全面和可靠。

（三）环境自动监测实时数据平台统计算法的缺失

实时数据平台识别异常值的技术源自统计学、软件工程和计算机科学。统计学对统计数据异常值的识别虽有很多研究成果，但大多是从数学的角度并针对一些特殊分布例如多维正态分布、r分布等来实现的。然而，环境自动监测数据大多不符合这些分布，难以直接采用这些研究成果来进行检验和识别。因此环境自动监测实时数据平台缺乏能检查和审核统计数据可靠性和准确性的统计算法。

此外，目前的异常值识别技术将监测数据的异常值直接删除，很难容纳统计学理论识别异常值的方法。因为统计学理论能推算监测数据里的异常值，但不代表该异常值在真实环境是绝对错误的，如果直接删除被推算为异常的数据则不尊重客观现实，不够科学和准确。

发明内容

为了解决上述技术问题，本发明的目的是：提供一种溯源效率高、精确度高、全面、可靠、科学和准确的环境自动监测网络的数据异常值标识方法及系统。

本发明解决其技术问题所采用的技术方案是：

环境自动监测网络的数据异常值标识方法，包括：

A、根据基站系统自动识别、基站人工审核和实时数据平台的专家识别、平台人工审核这四个数据来源对环境监测网络的数据标识体系进行统一定义，从而得到来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构；