[发明专利]流数据的异常点检测方法及装置

说明书

技术领域

本发明涉及数据处理领域，具体地，涉及一种流数据的异常点检测方法及装置。

背景技术

流数据是一组顺序、大量、快速、连续到达的数据序列，一般情况下，数据流可被视为一个随时间延续而无限增长的动态数据集合。对于各个领域来说，例如，物联网、航空航天、气象测控和金融服务等领域，流数据可以理解为是多种多类的传感器在各个时刻检测到的数据。

对流数据进行异常点检测，有利于预测未来可能发生的故障，并进行诊断。目前，对流数据进行异常检测的研究主要基于统计和机器学习的方法。

其中，基于统计的方法通过分析统计数据的分布情况，找到不符合该数据分布的异常点。这种方法需要了解数据分布情况，同时检测出的异常点可能被不同的分布模型检测到，即检测这些异常点的机制可能不唯一。基于机器学习的方法主要将异常点检测看作聚类或分类问题，解决了基于统计方法产生的异常点多义性问题。但现有技术通常采用浅层机器学习模型进行，仅将流数据直接用于模型学习，未考虑数据特征间的内在联系，异常点检测的准确度较低。

发明内容

本发明的主要目的是提供一种流数据的异常点检测方法及装置，用以解决现有技术对流数据异常点检测的准确度较低的技术问题。

为了实现上述目的，本发明第一方面提供一种流数据的异常点检测方法，所述流数据包括每类传感器在历史时刻检测到的数据，以及在每一所述历史时刻的实测异常点数据，所述方法包括：

根据每类所述传感器在所述历史时刻检测到的数据，以及所述实测异常点数据训练长短时记忆递归神经网络LSTM模型，形成已训练LSTM模型，其中，每类所述传感器在所述历史时刻检测到的数据作为训练所述LSTM模型的一个输入向量；

将每类所述传感器在当前时刻检测到的数据作为所述已训练LSTM模型的输入，得到所述已训练LSTM模型输出的异常点数据检测结果。

可选地，所述根据每类所述传感器在所述历史时刻检测到的数据，以及所述实测异常点数据训练长短时记忆递归神经网络LSTM模型，形成已训练LSTM模型，包括：

利用所述LSTM模型的流数据滑动窗口学习每类所述传感器在所述历史时刻检测到的数据，得到正常点的目标概率值P(y＝1|h)，其中，正常点标签y的值为1；

根据正常点的标签及所述目标概率值P(y＝1|h)，计算获得交叉熵，其中，所述交叉熵作为模型的损失函数，用于衡量概率值与标签的相似性；

根据所述损失函数调整所述LSTM模型的参数。

可选地，所述利用所述LSTM模型的流数据滑动窗口学习每类所述传感器在所述历史时刻检测到的数据，得到正常点的目标概率值P(y＝1|h)，包括：

利用所述LSTM模型的流数据滑动窗口分别学习每一类传感器在所述历史时刻检测到的数据的特征，得到隐藏向量表示；

将所述隐藏向量表示通过所述LSTM模型的逻辑回归层处理，得到所述目标概率值P(y＝1|h)。

可选地，所述利用所述LSTM模型的流数据滑动窗口学习每类所述传感器在所述历史时刻检测到的数据，得到正常点的目标概率值P(y＝1|h)，包括：

利用所述LSTM模型的流数据滑动窗口分别学习每一类传感器在所述历史时刻检测到的数据的特征，得到第一隐藏向量表示；

将所述第一隐藏向量表示通过所述LSTM模型的逻辑回归层处理，得到所述第一概率值P(y＝1|h₁)；

利用所述LSTM模型的流数据滑动窗口学习所有传感器在所述历史时刻检测到的数据的特征，得到第二隐藏向量表示；

将所述第二隐藏向量表示通过所述LSTM模型的逻辑回归层处理，得到第二概率值P(y＝1|h₂)；

根据所述第一概率值P(y＝1|h₁)和所述第二概率值P(y＝1|h₂)通过如下公式计算得到所述目标概率值P(y＝1|h)：

P(y＝1|h)＝sigmoid(α·P(y＝1|h₁)+β·P(y＝1|h₂))；

其中，α大于0，β大于0，且α+β＝1，sigmoid为激活函数。

可选地，所述根据正常点的标签及所述目标概率值P(y＝1|h)，计算获得交叉熵，包括：

通过如下公式计算正常点的标签及所述目标概率值P(y＝1|h)的交叉熵L(θ)：

L(θ)＝-(ylogP(y＝1|h)+(1-y)log(1-P(y＝1|h)))。