[发明专利]用于深度卷积网络的超参数选择

说明书

通过选择数个网络架构作为数据库的一部分来选择用于训练深度卷积网络的超参数。这些网络架构中的每一者包括一个或多个局部逻辑回归层并且被训练成生成被存储在数据库中的对应验证误差。用于标识良好网络架构集合和不良网络架构集合的阈值误差可以基于数据库中的验证误差来估计。该方法还包括基于作为良好网络架构集合的函数的度量来选取对应于下一网络架构的下一潜在超参数。该方法进一步包括从各下一网络架构中选择具有最低验证误差的网络架构。

相关申请的交叉引用

本申请要求于2015年1月29日提交且题为“HYPER-PARAMETER SELECTION FORDEEP CONVOLUTIONAL NETWORKS(用于深度卷积网络的超参数选择)”的美国临时专利申请No.62/109,470的权益，其公开内容通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及机器学习，且更具体地涉及改进选择用于深度卷积网络的超参数的系统和方法。

背景技术

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。

深度学习架构(诸如，深度置信网络和深度卷积网络)是分层神经网络架构，其中神经元的第一层的输出变成神经元的第二层的输入，神经元的第二层的输出变成神经元的第三层的输入，以此类推。深度神经网络可被训练以识别特征阶层并因此它们被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可在处理节点群体上分发，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。

其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行分类的分开的超平面(例如，决策边界)。该超平面由监督式学习定义。期望的超平面增加训练数据的余裕。换言之，超平面应该具有到训练示例的最大的最小距离。

尽管这些解决方案在数个分类基准上取得了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练是有挑战性的。

概览

在一方面，给出了一种选择用于训练深度卷积网络的超参数的方法。该方法包括选择数个网络架构作为数据库的一部分。这些网络架构中的每一者包括一个或多个局部逻辑回归层并且被训练成生成被存储在数据库中的对应验证误差。用于标识良好网络架构集合和不良网络架构集合的阈值误差可以基于数据库中的验证误差来估计。该方法还包括基于作为良好网络架构集合的函数的度量来选取对应于下一网络架构的下一潜在超参数。该方法进一步包括从各下一网络架构中选择具有最低验证误差的网络架构。

在另一方面，给出了一种选择用于训练深度卷积网络的超参数的装置。该装置包括存储器以及耦合至该存储器的至少一个处理器。该一个或多个处理器被配置成选择数个网络架构作为数据库的一部分。这些网络架构中的每一者包括一个或多个局部逻辑回归层并且被训练成生成被存储在数据库中的对应验证误差。该(诸)处理器还被配置成基于数据库中的验证误差来估计用于标识良好网络架构集合和不良网络架构集合的阈值误差。该(诸)处理器还被配置成基于作为良好网络架构集合的函数的度量来选取对应于下一网络架构的下一潜在超参数。该(诸)处理器被进一步配置成从各下一网络架构中选择具有最低验证误差的网络架构。