[发明专利]计算机可读记录介质、机器学习方法以及信息处理装置

说明书

本申请涉及计算机可读记录介质、机器学习方法以及信息处理装置。一种计算机实现的方法包括：在机器学习模型的机器学习时计算关于包括在机器学习模型中的多个层的误差梯度，所述多个层包括机器学习模型的输入层；将其中误差梯度小于阈值的层中的位于从输入层的位置到预定位置的范围内的层指定为要抑制的层；以及抑制针对要抑制的层的机器学习。

技术领域

本文讨论的实施方式涉及在其中存储有机器学习程序的计算机可读记录介质、机器学习方法以及信息处理装置。

背景技术

为了加速机器学习模型的机器学习，使用图形处理单元(GPU)是有效的，并且通过使用多个GPU来分布处理也是有效的。通过在作为信息处理装置的节点中安装多个GPU并且在该节点内并行执行机器学习处理，机器学习处理的速度得到提高。然而，在GPU之间执行梯度信息的Allreduce处理和反射处理需要花费不少的时间。

在以上提到的机器学习模型的机器学习中，由于每次执行学习都必须频繁地更新新学习部分，因此期望设置相对高的学习速率(LR)来确定更新频率。另一方面，在其中已经完成机器学习的现有学习部分中，随着学习部分越靠近输入侧，学习速率越低并且在极端情况下可能经常变为0。在其中学习速率为0的部分中，尽管不必执行机器学习处理，但是以与新学习部分相同的频率徒劳地执行多个处理，例如梯度信息的Allreduce处理和反射处理以及权重计算处理。

为此，近年来，已经使用了梯度跳过技术，在该梯度跳过技术中，确定不请求机器学习的层并且跳过梯度信息(Δw)计算、Allreduce处理等而不对其进行梯度信息(Δw)计算、Allreduce处理等。

相关技术的示例包括如下：日本特开专利公布号4-232562；国际公布小册子第WO2019/167665号；美国专利第9047566号；以及美国专利第5243688号。

发明内容

[技术问题]

然而，利用上述技术，可以通过跳过机器学习来提高速度，但是机器学习的准确度可能根据要跳过的层、跳过定时等而劣化，使得机器学习可能在没有达到目标准确度的情况下结束。

在一方面，目的是提供能够缩短达到目标准确度的机器学习的处理时间的其中存储有机器学习程序的计算机可读记录介质、机器学习方法以及信息处理装置。

[问题的解决方案]

根据实施方式的一方面，一种计算机实现的方法包括：在机器学习模型的机器学习时计算关于包括在机器学习模型中的多个层的误差梯度，所述多个层包括机器学习模型的输入层；将其中误差梯度小于阈值的层中的位于从输入层的位置到预定位置的范围内的层指定为要抑制的层；以及抑制针对要抑制的层的机器学习。

[发明的有益效果]

根据实施方式，可以缩短达到目标准确度的机器学习的处理时间。

附图文字

图1示出了说明根据实施方式1的信息处理装置的分布式学习的图；

图2示出了说明机器学习的参考技术的图；

图3示出了说明根据实施方式1的信息处理装置的机器学习的图；

图4示出了图示根据实施方式1的信息处理装置的功能配置的功能框图；

图5示出了说明分布式处理单元的细节的图；

图6示出了说明跳过候选的检测的图；

图7示出了说明用作学习跳过的确定标准的跳过频率的图；

图8示出了说明对用作学习跳过的确定标准的预热的考虑的图；

图9A和图9B示出了说明对用作学习跳过的确定标准的跳过层的选择的图；