[发明专利]自动模型构建搜索空间缩减

说明书

本申请涉及自动模型构建搜索空间缩减。一种方法包含通过处理器接收输入数据集。所述输入数据集包含多个特征。所述方法包含通过所述处理器确定所述输入数据集的一或多个特性。所述方法包含基于所述一或多个特性，通过所述处理器调整自动模型产生过程的一或多个架构参数。所述自动模型产生过程经配置以使用经加权随机化过程产生多个模型。所述一或多个架构参数对所述经加权随机化过程进行加权以调整产生具有特定架构特征的模型的概率。所述方法进一步包含通过所述处理器执行所述自动模型产生过程以输出模型，所述模型包含表示神经网络的数据。

技术领域

本发明涉及计算装置；具体地说，涉及计算装置的自动模型构建搜索空间缩减。

背景技术

计算机通常用于解决复杂的数量和质量问题。对于某些问题类型，例如遗传算法的高级计算技术可用于建立用于解决问题的模型，例如神经网络。然而，遗传算法可能会采用大量迭代收敛在可接受神经网络上。

此外，存在各种类型的机器学习问题。例如，回归问题涉及评估一系列输入以预测数值输出，分类问题涉及评估一系列输入以预测类别输出，且强化学习涉及在环境内执行动作同时从来自动作的反馈学习。由于不同类型的问题存在差异，所以可用于产生和训练神经网络的机制可以是问题特定的。例如，产生和训练神经网络以解决回归问题的方法明显不能高效地用于产生和训练神经网络来解决分类问题。

发明内容

本公开描述用于通过自动调整自动模型构建过程的架构参数来高效地产生用于不同类型的问题的神经网络的系统和方法。基于输入数据集的特性自动调整架构参数。调整架构参数用以缩减用于解决给定问题的可靠神经网络的搜索空间。例如，如遗传算法的自动模型产生过程的参数可以进行偏置以增加在演化期间使用某些类型的神经网络(例如，作为初始模型集或在随后时期产生的模型集的部分)的概率。因此，基于输入数据集的特性调整架构参数可使得自动模型构建过程聚焦于特别适合于处理输入数据集的神经网络的类型，这可以减少供自动模型构建过程用于收敛在可接受神经网络(例如，满足拟合性或其它准则的神经网络)上的时间量和处理资源。

为了说明，分析输入数据集以确定输入数据集的特性。特性可以指示输入数据集的数据类型、将由输入数据集解决的问题等。例如，如果输入数据集包含工业时间序列数据，那么特性可以指示输入数据集带时间戳且是连续的，并且输入数据集包含连续值(相比于类别值)。基于输入数据集的特性，选择自动模型产生过程的一或多个参数用于调整。在特定实施方案中，特性与将数据集的特性映射到神经网络语法的规则集相比较。如本文中所使用，神经网络语法是指定神经网络的拓扑或架构的规则列表。基于与规则集中的特性相关联的语法，选择一或多个架构参数。在此实施方案中，规则集可以基于多个(例如，数百或数千)先前产生的神经网络的分析而产生。在替代实施方案中，分类器使用表示先前产生的神经网络的数据来产生和训练，且分类器经配置以基于输入数据的特性输出神经网络语法。

在选择一或多个架构参数之后，调整一或多个架构参数以加权随机化过程(例如，遗传算法)，从而调整产生具有特定架构特征的模型(例如，神经网络)的概率。例如，如果输入数据文件的特性与循环结构相关联，那么在规则集中或通过经训练分类器，调整对应于循环结构(例如，循环神经网络(RNN)、长期短期记忆(LSTM)层、门控循环单元(GRU)层，作为非限制性实例)的架构参数以增加在随机化过程中包含具有循环结构的神经网络的可能性。为进一步说明，与循环结构相关联的权重可以增加，这增加了在随机化过程中包含具有循环结构的神经网络(与其它随机选择的神经网络相对)的可能性。作为另一实例，如果规则集(或经训练分类器)指示前馈层与输入数据集的特性反相符合，那么调整对应于前馈层的架构参数以减小在随机化过程中包含具有前馈层的神经网络的可能性。因此，随机化过程可以加权(通过调整架构参数)以使随机化过程聚焦于特定类型的神经网络，给定输入数据集的特性，预期所述特定类型的神经网络执行良好，这可以增加速度并减少供自动模型产生过程收敛在可接受神经网络上时使用的处理资源量。

附图说明