[发明专利]环境自动监测网络的数据异常值标识方法及系统

摘要

本发明公开了一种环境自动监测网络的数据异常值标识方法及系统，方法包括：根据基站系统自动识别、基站人工审核和实时数据平台的专家识别、平台人工审核这四个数据来源对环境监测网络的数据标识体系进行统一定义，得到来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构；根据来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构，对基站层和平台层的异常值进行识别，并采用改进的数据标识同步算法实现基站层异常值和平台层异常值的同步。本发明增设了模式跟踪数据和标识演绎标识，并提出了实时数据平台的异常值识别算法，溯源效率高、精确度高、全面、可靠、科学和准确，可广泛应用于环境监测领域。

主权项

环境自动监测网络的数据异常值标识方法，其特征在于：包括：A、根据基站系统自动识别、基站人工审核和实时数据平台的专家识别、平台人工审核这四个数据来源对环境监测网络的数据标识体系进行统一定义，从而得到来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构；B、根据来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构，对基站层和平台层的异常值进行识别，并采用改进的数据标识同步算法实现基站层异常值和平台层异常值的同步；所述来源类型标识根据数据的来源进行定义，包括网络命令标识、基站系统标识、基站仪器自动执行命令标识、基站人工审核标识、实时数据平台标识；所述模式标识用于对基站自动监测网络各种形式的信息进行表征、描述和分类，由信息名称的英文或汉语拼音的第一个字母的缩写组成，包括监测数据状态标识、质控质保任务标识和基站监测系统及仪器故障标识；所述删除标识，用于表示不能参与统计的监测数据，具体数据格式为：删除标识/来源类型标识；所述模式跟踪数据标识包括结果导向标识和过程导向标识，所述结果导向标识的数据结构为：模式标识(特征标识1，特征标识2，……，特征标识n)/来源类型标识；所述结果导向标识的生成过程为：选择结果导向标识的数据结构，然后把代表结果的模式标识、以及与该模式标识相关联的特征标识1到特征标识n导入到选择的数据结构中；其中，特征标识是指基站监测系统开发者定义的关于系统、仪器的状况标识或基站采集系统的环境状况标识，特征标识1，特征标识2，……，特征标识n是指与代表结果的模式标识相关联的特征标识；所述过程导向标识的数据结构为：模式标识(数值基准标识1，数值过程标识1，……，数值基准标识1，数值过程标识m)/来源类型标识；所述过程导向标识的生成过程为：选择过程导向标识的数据结构；然后把代表过程的模式标识、以及与该模式标识产生过程相关联的基准标识1，数值过程标识1……数值基准标识1，数值过程标识m导入到选择的数据结构中；其中，基准标识是指执行质控任务时所采用标准样品的浓度值，数值过程标识是执行质控任务时监测仪器测标准样品所得的结果浓度值，数值过程标识1，数值过程标识2，……，数值过程标识m是指与代表过程的模式标识相关联的数值过程标识，且数值过程标识m按数据标识产生过程的时间先后顺序排列；所述演绎标识是指容纳统计学理论异常值识别方法的标识，具体数据格式为：演绎标识/来源类型标识；所述演绎标识并不参与数据统计，只用于反映和记录计算机智能诊断出来的异常值，若人工诊断确认该异常值为真实的异常值，演绎标识会自动转为删除标识；所述步骤B中根据来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构，对基站层异常值进行识别这一步骤，其包括：B11、对基站层数据进行监测，从而获得异常数据信号；B12、将异常数据信号转换成计算机可识别的数据信号；B13、将转换后的异常数据信号与数据标识知识库的数据进行匹配，判断数据标识知识库是否存在与异常数据信号相匹配的数据，若是，则执行步骤B14，反之，则结束基站层异常值识别流程；B14、判断异常数据信号所属的数据标识类型，并根据判断结果执行相应的数据标识赋予流程；B15、将新赋予的数据标识记录存入基站数据库和同步数据库；所述步骤B中根据来源类型标识、模式标识、模式跟踪数据标识、演绎标识和删除标识的数据结构，对平台层异常值进行识别这一步骤，其包括：B21、从平台数据库中提取监测数据，判断提取的数据是否包含不合理的值，若是，则为提取的数据赋予删除标识，反之，则执行步骤B22，所述不合理的值是指负值、超出仪器量程范围的值、连续不变的值或基于箱线图统计方法判别为离群值的数据；B22、判断提取的数据是否包含连续4次以上的不变值，若是，则为提取的数据赋予演绎标识，反之，则执行步骤B23；B23、自当前时刻开始往前追溯，从监测数据中获取连续的x个监测值，其中，x为预设的数值，且满足y≤x≤3y，y为维修人员在基站仪器发生故障时赶到现场进行维护的最长允许时间；B24、对获取的x个监测值进行计算，从而得到这x个监测值的下四分位数Q1、中位数Q2、上四分位数Q3和四分位距IQR，所述x个监测值的四分位距IQR的计算公式为：IQR＝Q3－Q1；B25、根据计算的结果自动对x个监测值的异常值进行识别，并为识别出的异常值赋予相应的演绎标识；B26、对含有演绎标识的监测数据进行人工审核，若确认监测数据为异常值，则将监测数据的演绎标识取消，并重新为监测数据赋予删除标识；所述步骤B中采用改进的数据标识同步算法实现基站层和平台层异常值的同步这一步骤，其包括：S1、基站与平台建立socket连接；S2、判断是否需要同步数据标识数据库，若是，则执行步骤S3，反之，则执行步骤S4；S3、基站向平台发送修改数据标识数据库的请求，并在平台同意修改和同步标识匹配检查完成后向平台发送数据标识记录数据包，从而使平台进行应答修改；S4、平台向基站发送修改数据标识知识库的请求，并在基站同意修改后向基站发送数据标识知识库修改数据包，从而使基站进行应答修改。