[发明专利]一种对工业设备采集的数据进行处理和检测的方法及装置

权利要求书

1.一种对工业设备采集的数据进行处理和检测的方法，其特征在于，包括以下步骤：

步骤S101：接收由工业设备的传感器采集的数据；

步骤S102：对所述数据的无效值进行修正，若采集的所述数据中，某项数据的格式不符合要求，或者某项数据的数据值大小超出允许的阈值，则将该项数据删除，将该项数据标记为数据缺失；

步骤S103：对修正后的数据，确定数据缺失值，根据数据缺失情况及与所述工业设备的传感器的数据采样对照关系，将缺失的数据分为短时缺失和长时缺失两类，采用基于双层LSTM的模型来补全缺失数据；

步骤S104：将填补完全部缺失数据的修正数据中的重复值进行合并处理；

步骤S105：对合并处理重复值后的数据，检测时间序列的异常，所述时间序列的异常包括异常点和模式异常；通过基于密度的局部异常检测算法(LOF)检测异常点，基于双层LSTM模型检测模式异常；

步骤S106：根据异常点和模式异常数据生成报告。

2.如权利要求1所述的对工业设备采集的数据进行处理和检测的方法，其特征在于，所述基于双层LSTM模型补全长时缺失数据，包括：

步骤S201：确定缺失数据的位置；

根据工业设备采集数据的采样间隔，从修正后的数据中确定数据缺失值的位置；根据删除了无效值的数据位置，确定数据缺失值的位置；记录全部数据缺失值的位置，并对全部数据缺失值位置按时间顺序进行排序；将当前处理位置标记为第一个数据缺失值的位置；

步骤S202：判断是否填补完全部缺失数据，若是，输出填补完全部缺失数据的修正数据，方法结束；若否，进入步骤S203；

步骤S203：通过相关性计算确定与缺失数据相关的其他n个属性，n≥1，

计算公式为：

其中，由工业设备的传感器采集的数据具有多个属性，X为工业设备采集到的含有缺失数据的属性集合，Y为工业设备在同一时间采集到的不含缺失数据的属性集合；X_i为缺失数据的属性集合中的任一属性，Y_j为不含缺失数据的属性集合的任一属性；生成不含缺失数据的副本数据集，将删除工业设备采集的数据中的缺失数据，生成副本数据集，根据副本数据集，计算Cov(X_i,Y_j)、D(X_i)、D(Y_j)，Cov(X_i,Y)为X_i,Y_j的协方差，D(X_i)、D(Y_j)分别为X_i、Y_j的方差；

当X_i与Y_j之间的相关系数的绝对值时，认为X_i与Y_j是相关属性，将与X_i相关的属性按相关性数值排序，选取相关性最高的前n个属性作为与缺失数据相关的其他属性；

步骤S204：将该缺失数据前面的time_step个数据作为输入，调用训练好的LSTM模型，计算缺失数据，并将计算出的数据填补所述缺失数据；time_step为预定步长；

步骤S205：将当前处理位置向后移动一位，进入步骤S202。

3.如权利要求2所述的对工业设备采集的数据进行处理和检测的方法，其特征在于，所述LSTM模型的训练过程为：

步骤S301：配置双层LSTM模型，模型的输入层input_size＝n，输出层output_size＝1；确定该双层LSTM模型的训练参数，包括隐藏层的节点数量rnn_unit、每次训练传入的数量batch_size、每批数据的规模time_step；其中，n为相关性最高的属性的个数；

步骤S302：确定训练集和测试集数据，确定训练集和测试集的数据比例；

步骤S303：按比例选取删除了缺失数据的多维传感器采集的数据作为训练集中的训练数据，对双层LSTM模型进行训练，得到训练参数的各项数值；

步骤S304：根据测试集的测试结果调整训练参数。