[发明专利]一种应用于空气质量大数据异常检测的神经网络结构搜索方法

说明书

本发明公开了一种应用于空气质量大数据异常检测的神经网络结构搜索方法，其特征在于，包括以下步骤：设定用于构建神经网络结构的搜索空间，并定义训练目标；利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。本发明适用于空气质量大数据异常检测问题的神经网络结构的自动搜索，面对大数据的复杂情况具有较佳的效果和鲁棒性。

技术领域

本发明属于大数据处理领域，特别的涉及一种应用于空气质量大数据异常检测的神经网络结构搜索方法。

背景技术

异常值检测是大数据处理领域的研究者重点关注的课题，该问题在数据预处理、行为预测、行为分析等具体应用上具有广泛的实际应用价值。但同样，该问题具有较大的挑战性。一是在大数据下，这些数据往往呈现结构复杂、噪声多等特性，这已成为人们深度挖掘大数据潜在价值的阻碍。二是传统的异常值检测方法对空气质量大数据不适用。

目前的空气质量异常值检测方法主要可以分为基于传统统计学的方法和基于深度学习的聚类方法。基于统计的方法仅适用于低维数值型数据集，且依赖于数据分布、参数分布、期望离群点的数量等指标。近年来，基于深度学习的聚类方法展现出良好的性能与鲁棒性(Robust)。

然而，该种方法主要存在以下几个问题：1)通常深度神经网络的结构是由专家基于领域特有的专业知识所设计，缺乏对不同任务的泛化能力，当面临不同任务时需要重新制定深度神经网络的结构；2)需要设计者拥有丰富的神经网络设计与参数调整经验，一个好的神经网络结构通常需要设计者的精心调整，这个过程将花费设计者大量的时间与精力。

现有技术中如CN201810802108.0《一种应用于图片多属性预测的神经网络结构搜索方法》，用于在图片多属性预测问题中搜索最优的神经网络结构，利用贪心搜索策略设计神经网络。该技术的特点是以当前情况为基础根据某个优化测度作最优选择，而不考虑各种可能的整体最优情况，虽然它省去了为找最优解要穷尽所有可能而必须耗费的大量时间，但神经网络是一个整体，各层网络之间相互影响，只考虑每步最优的结果可能使最后得到的神经网络在测试集上效果一般，不能得到最优的网络结构。

发明内容

为解决上述问题，本发明的目的在于提供一种应用于空气质量大数据异常检测的神经网络结构搜索方法。该方法基于强化学习的神经网络搜索策略，可高效地自动搜索给定任务的最优神经网络模型结构，面对各类复杂情况具有较佳的效果和鲁棒性。

为实现上述目的，本发明的技术方案为：

一种应用于空气质量大数据异常检测的神经网络结构搜索方法，包括以下步骤：

S1、设定用于构建神经网络结构的搜索空间，并定义训练目标；

S2、利用强化学习不断训练循环神经网络控制器，使结构搜索过程不断优化，直到构建出满足需求的神经网络结构；

S3、将新的数据集放入最终得到的神经网络模型中，聚类训练出新的输入数据集中的异常数据。

进一步的，用于搜索神经网络结构的搜索空间包含卷积层参数、池化层参数、全连接层参数，各类参数设定如下：卷积层深度参数C_d为整数，且0<C_d<12，卷积层接受域大小参数C_a∈{1，3，5，7，9}，卷积层接受域数目参数C_an∈{64，128，256，512}，池化层深度参数P_d为整数，且0<P_d<12，全连接层深度参数CF_d为整数，且0<CF_d<12，全连接层个数参数CF_n为整数，且0<CF_n<3，全连接层神经元数参数CF_nn∈{512，256，128}；