[发明专利]一种基于代理模型的渐进式深度集成架构搜索方法

说明书

本发明公开了一种基于代理模型的渐进式深度集成架构搜索方法，首先设计了基于有向无环图的深度集成架构搜索空间，在上述搜索空间的基础上，采用渐进式的策略对搜索空间进行探索，并采用代理模型指导搜索过程。本发明可对不同的任务和数据集自动化地设计性能优异的深度集成架构，解决现今缺乏优异深度集成架构自动化设计方法的问题。

技术领域

本发明属于自动化机器学习领域，具体涉及深度集成学习和自动化模型集成方法，尤其涉及一种基于代理模型的渐进式深度集成架构搜索方法。

背景技术

随着现代化信息高速公路的建设，以及物联网、云计算、大数据等新兴信息技术的快速发展，各行各业都在积极推进数字化转型升级，整个社会的数据总量呈现几何级的增长速度。大数据往往隐含着巨大的商业和应用价值，各个行业对于大数据的处理与智能分析需求与日俱增。近年来，以机器学习为代表的人工智能技术已成为大数据智能分析的关键技术，受到了学术界和工业界的广泛关注，并且在大数据智能分析领域得到了广泛应用。目前，人工智能已经席卷了诸如医疗、生物医药、公共服务、教育和新媒体等许多行业，并给这些行业带来了深远的变革。

在诸多人工智能技术中，以深度神经网络为代表的深度学习技术已成为最为热门的研究方向。深度神经网络(Deep Neural Network，DNN)具有较大的表征学习能力，通过逐层的训练和学习，能够自动提取数据的高层特征。深度神经网络已在图像分析、自然语言处理以及语音识别等领域取得了突破性的成就。

尽管DNN在上述众多的领域取得了很大的成功，但是DNN也存在以下三个方面的不足。首先，DNN训练开销大。目前大部分DNN层数多、参数量巨大，可达到上亿规模，导致DNN的训练不仅需要昂贵的具有大算力的计算设施(如GPU等)，而且需要大量的时间开销；其次，超参数调优难。DNN面临大量不同的超参数选择，例如卷积层的结构、每层所采用的激活函数、每层神经元的个数、各个层之间的连接方式等。这些超参数的调优需要反复尝试，不断试错，缺少有效的理论方法，在很多情况下是一项非常有技巧性和不确定性的工作。此外，DNN并非在所有任务上都能够取得最好的效果，尤其是对于中小规模数据以及表格型数据。

针对上述DNN的种种不足，国内外学者提出了很多探索和改进。

周志华等学者通过对以往各种DNN模型的研究和分析，归纳并总结出了DNN之所以能够取得巨大成功的三点原因：逐层的计算、模型内部的特征变换以及足够的模型复杂度。基于上述三点认知，他们提出了深度森林，其由多个级联层构成，每个级联层是多个森林的集成。相对DNN而言，深度森林的训练无需反向传播、占用内存与计算开销更小，而且模型的复杂度可以自适应地决定。另外，深度森林在中小规模的表格型数据上逐渐得到了广泛运用，例如生物和医药领域、推荐系统、5G、水质检测、图像分类等。这种借鉴了DNN中“深度”思想，并结合集成学习的新式深度学习模型，可称为深度集成学习模型。

在深度集成学习模型中，深度集成架构的设计至关重要。然而，与DNN架构设计类似，针对不同的输入数据集以及任务场景设计一个性能优异的深度集成架构需要大量的专家知识和经验，并需要反复尝试基学习器类型、基学习器数量以及基学习器集成方式等各种超参数的组合，费时费力。近年来，神经架构搜索(Neural Architecture Search，NAS)技术引起了工业界和学界的广泛关注。受到NAS的启发，本发明将研究实现高效的深度集成架构搜索方法，针对特定的数据集和任务场景自动化地搜索性能优异的深度集成架构，从而大大降低深度集成学习模型的设计门槛。本发明通过融合集成学习和深度学习技术，并在自动化机器学习尤其是神经架构搜索方法的研究基础上，针对深度集成学习，研究提出一系列深度集成架构搜索方法。

然而，深度集成架构搜索技术挑战性大，需要解决诸如架构搜索空间设计、自动化搜索算法设计等一系列难题，解决这些难题需要设计能够适配具体任务的深度集成架构搜索空间，以及能够在合理时间预算获得优异深度集成架构的自动化深度集成架构搜索方法。

发明内容