[发明专利]一种基于改进LSTM的PM2.5数据异常值检测方法

说明书

本发明公开一种基于改进LSTM的PM2.5数据异常值检测方法，包括以下步骤：S1，采集历史PM2.5数据，划分为训练集和测试集；S2，构建进行PM2.5大数据异常值检测的LSTM模型，并初始化所述LSTM模型；S3，采用改进的模拟退火粒子群算法优化所述LSTM模型，利用训练集进行训练，获得满足条件的LSTM模型；S4，利用所述测试集对优化后的LSTM模型进行PM2.5数据测试，获取异常值。本发明的模拟退火粒子群算法基于PM2.5大数据的特点进行改进，使得预测曲线更加平滑的特点对方法进行优化，检测方法针对性强，能得到更好的结果。

技术领域

本发明涉及大数据处理领域，特别是涉及一种基于改进LSTM的PM2.5数据异常值检测方法。

背景技术

异常值检测是大数据处理领域的研究者长期重点关注的课题，该问题在数据预处理、行为预测、行为分析等具体应用上具有广泛的实际应用价值。但同样，该问题具有较大的挑战性。一是在大数据下，这些数据往往呈现结构复杂、噪声多等特性，这已成为人们深度挖掘大数据潜在价值的阻碍。二是传统的异常值检测方法对PM2.5大数据不适用。

目前的PM2.5异常值检测方法主要可以分为基于传统统计学的方法、基于深度学习的聚类方法和基于深度学习的预测方法。基于统计的方法仅适用于低维数值型数据集，且依赖于数据分布、参数分布、期望离群点的数量等指标。基于深度学习的聚类方法需要聚类的数据样本中，正常点占大部分，异常点占极小部分，否则过多的异常样本可能聚为一类从而影响判定。

近年来，基于深度学习的预测方法展现出良好的性能与鲁棒性。然而，该种方法检测PM2.5异常值主要存在以下几个问题：1)LSTM网络的结构复杂，当面临不同特征的PM2.5数据时，调整LSTM的参数需要设计者拥有丰富的神经网络设计与参数调整经验，一个好的神经网络结构通常需要设计者的精心调整，这个过程将花费设计者大量的时间与精力；2)预测过程常常出现收敛速度慢、易陷入局部最优的缺点。

发明内容

本发明的目的是提供一种基于改进LSTM的PM2.5数据异常值检测方法，以解决上述现有技术存在的问题，针对春秋季节风季较多，风力较大，且具有一定的随机性，导致LSTM模型容易学习PM2.5浓度大数据的主要变化趋势，而忽略随机影响，使得预测曲线更加平滑的特点对方法进行优化，针对性强，能得到更好的结果。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于改进LSTM的PM2.5数据异常值检测方法，包括如下步骤：

S1，采集历史PM2.5数据，对所述历史PM2.5数据中的正常值与异常值进行标记，划分训练集和测试集；

S2，构建进行PM2.5大数据异常值检测的LSTM模型，并初始化所述LSTM模型；

S3，采用改进的模拟退火粒子群算法优化所述LSTM模型，利用所述训练集对所述LSTM模型进行训练获得优化后的LSTM模型；

S4，利用所述测试集对优化后的LSTM模型进行PM2.5数据测试，获取异常值。

优选的，所述步骤S2中构建的LSTM模型包括输入层、LSTM层、全连接层和输出层。

优选的，所述输入层神经元个数为24，所述LSTM模型的预测步长初始化为24，所述LSTM层神经元的个数初始化为100，所述全连接层初始化为3层，所述全连接层神经元的个数初始化为50，所述输出层神经元个数为1，用于输出预测的PM2.5浓度数据。

优选的，所述S3中LSTM模型优化包括以下步骤：

S31、初始化模拟退火粒子群算法中的参数；

S32、初始化当前迭代次数；

S33、构建适应度函数；