[发明专利]信息处理设备、信息处理方法及计算机可读记录介质

说明书

本公开涉及信息处理设备、信息处理方法及计算机可读记录介质。多个操作装置中的每个操作装置向表示神经网络并且包括共同的第一权重的模型输入与由其他操作装置使用的第一数据不同的第一数据，计算针对第一权重的误差梯度，并且对由每个操作装置计算出的梯度进行合并。每个操作装置将第一权重存储在存储装置中并且基于与由其他操作装置使用的超参数值不同的超参数值、经合并的误差梯度和第一权重将模型的权重更新为第二权重。每个操作装置将共同的第二数据输入至模型，比较由每个操作装置获取的评估结果，并且选择共同的超参数值。每个操作装置基于所选择的超参数值、经合并的误差梯度和存储在存储装置中的第一权重将模型的权重更新为第三权重。

技术领域

本文讨论的实施方式涉及信息处理设备、信息处理方法和程序。

背景技术

机器学习作为计算机辅助数据分析来执行。在机器学习中，将指示具有已知结果的多个样本的数据输入至计算机。计算机分析该数据并且生成归纳原因(其可以被称为解释变量或自变量)与结果(其可以被称为目标变量或因变量)之间的关系的模型。所生成的模型用于预测未知结果。例如，计算机对包括指示这些图像中的对象的种类的训练标签的多个图像进行分析并且生成根据图像确定对象的种类的图像识别模型。

存在使用神经网络(NN)作为模型的机器学习。典型的神经网络包括输入层、输出层和至少一个中间层，并且在这些层中的每个层中布置多个节点。属于相邻层的两个节点经由加权边(weighted edge)彼此连接。单个节点表示神经元，并且单个边表示突触。输入至输入层的解释变量的值基于边权重被传播至下游层，并且目标变量的值从输出层输出。通过调整这些权重，神经网络能够近似各种函数。包括许多中间层的神经网络可以被称为深度神经网络(DNN)，并且使用深度神经网络的机器学习可以被称为深度学习(DL)。

在使用神经网络的典型机器学习中，计算机将训练数据中包括的特征量输入至输入层，将特征量沿前向方向从输入层传播至输出层，并且从输出层读取针对特征量的目标变量的推导结果。通过评估推导结果与训练数据中包括的相应训练标签之间的误差并且将误差信息沿后向方向从输出层传播至输入层，计算机计算针对相应边权重的误差梯度。计算机基于相应的误差梯度更新这些边权重。这种用于更新权重的算法可以被称为后向传播。

提出了一种并行操作设备，其通过使用多个运算单元以并行方式来执行使用分层神经网络的机器学习。还提出了一种并行处理设备，其通过使用多个计算器以并行方式执行深度学习，所述多个计算器中的每个计算器包括图形处理单元(GPU)。

例如，参见日本公开特许公报第2009-99008号和日本公开特许公报第2018-18220号。

超参数用于控制机器学习的行为，并且超参数值影响通过机器学习生成的模型的精度。用户可以指定这些超参数值。取决于机器学习，使用许多超参数。在神经网络的情况下，各种超参数用于例如中间层的数目、单个层中的节点的数目、激活函数和学习率。激活函数是将上游层的输出的加权和转换为传播至下游层的输出的函数。学习率表示误差梯度在权重上反映的程度。

优选地，调整超参数值以便生成精确的模型。然而，由于最优超参数值取决于用作训练数据的数据集，因此最优超参数值在许多情况下是先前未知的。另外，存在用作超参数值的许多候选。因此，存在执行超参数搜索的情况。在该搜索中，机器学习使用若干超参数值来评估提高模型的精度的超参数值，并且再次执行机器学习。重复该处理以确定最优超参数值。

然而，由于使用神经网络的机器学习执行大量的计算，因此即使单个机器学习操作也可能需要长的学习时间。因此，机器学习的问题在于，随着计算机在改变超参数值的同时重复执行机器学习，学习时间显著延长。

发明内容

实施方式的一个方面的目的是提供有效地搜索机器学习中使用的超参数的信息处理设备、信息处理方法和程序。