[发明专利]工业系统异常数据的检测的处理方法、装置、设备和介质

说明书

本发明提供一种工业系统异常数据的检测的处理方法、装置、设备和介质，方法包括：冗余数据的检测与处理，即根据冗余数据校验算法，对源自同一设备的数据分别进行时间标签与数值的比较，当同一设备的多个数据的时间标签与数值分别完全一致时，就界定为冗余数据；然后将重复的数据进行删除，只保留唯一的数据单元；解析异常数据的检测与处理，即根据数据格式校验算法，对传输的数据进行数据格式的校验，当某个数据的格式存在异常，无法正常识别时，则界定为解析异常数据；然后直接上传云端或是进行删除处理。本发明实现了对异常数据的自动检测和处理，以解决工业控制系统异常数据多、数据类型繁杂等技术问题。

技术领域

本发明涉及工业自动化控制技术领域，特别涉及一种工业系统异常数据的检测的处理方法、装置、设备和介质。

背景技术

在大量工业设备接入工业互联网后，企业将面临着设备数据量大、异常数据比例增加等问题。由于工业互联网现场设备的数据在采集和导入过程中具有数据量巨大、数据类型繁多、价值密度低、处理速度快和复杂性强等特征，原始数据信息中混杂着许多错误和重复的异常数据，导致大数据存在着低价值密度和不可用的特性。面对如此庞大的数据量，人们希望从海量数据中挖掘出有价值的信息或知识，为决策者提供参考。由于设备故障、协议解析异常等原因，不可避免的存在冗余数据、解析异常数据等诸多情况，严重影响了数据利用的效率和决策质量。

公开日为20190611，公开号为CN109871002A的中国发明公开了一种基于张量标签学习的并发异常状态识别与定位系统，包括：异常状态数据预处理模块、高维张量标签模块、张量切片与运算模块、机器学习系统、预测张量标签信息融合模块和预测结果评级模块，本发明利用高维的张量标签将异常状态的识别与定位统一到张量学习的框架中，将完整异常状态信息为到异常状态张量中，综合评价异常状态诊断系统对异常状态的认知。该发明是利用张量标签学习进行异常状态识别与定位，对工业系统和控制系统的异常状态进行精确的状态、位置以及类别的判定，进行快速完整的态势和威胁估计，从可以对系统安全的异常状态威胁进行完整、高效、精确的处理。但其没有提到对异常数据具体应该如何识别和处理。

公开日为20190730，公开号为CN110073301A的中国发明公开了一种用于在工业环境中进行数据收集的监测设备、系统和方法。该系统包括通信连接到多个输入通道和网络架构的数据收集器；其中该数据收集器基于已选择的数据收集例程进行数据收集；该系统还包括被结构化为存储多个收集器例程和已收集数据的数据存储器、被结构化为从已收集数据中解译多个检测值的数据收集电路、被结构化为分析该已收集数据并确定从该多个输入通道处收集的数据的聚合率；如果聚合率超出该网络架构的吞吐参数，则该数据分析电路改变数据收集从而降低被收集数据的量。但其也没有提到对异常数据具体应该如何识别和处理。

本申请是基于数据处理技术的基础，根据异常数据的特点，结合数据检测规则的执行方案，采用扫描数据信息的方式，实现对异常数据的自动检测和处理，从而提高数据采集与传输的准确性和灵活性。

发明内容

本发明要解决的技术问题，在于提供一种工业系统异常数据的检测的处理方法、装置、设备和介质，根据异常数据的特点，采用扫描数据信息的方式，实现对异常数据的自动检测和处理，以解决工业控制系统异常数据多、数据类型繁杂等技术问题。

第一方面，本发明提供一种工业系统异常数据的检测和处理方法，包括异常数据的检测过程和异常数据的处理过程：

所述异常数据的检测过程包括：

冗余数据的检测，即根据冗余数据校验算法，对源自同一设备的数据分别进行时间标签与数值的比较，当同一设备的多个数据的时间标签与数值分别完全一致时，就将这些数据界定为冗余数据；

解析异常数据的检测，即根据数据格式校验算法，对传输的数据进行数据格式的校验，当发现某个数据的格式存在异常，无法正常识别时，则将该数据界定为解析异常数据；

所述异常数据的处理过程包括：