[发明专利]信息处理装置、机器学习方法和计算机可读存储介质

说明书

公开了信息处理装置、机器学习方法和计算机可读存储介质。该方法包括：确定待用于多个运算中的每个运算的数据类型，多个运算是待在机器学习处理中使用的一系列运算；通过将待在每个运算中使用的所确定的数据类型修改为比通过所述确定所定义的数据类型更精确的数据类型来减少总处理时间，总处理时间是包括多个运算中的每个运算的运算时间和转换数据类型所花费的转换时间的时间段；以及通过使用多个运算中的每个运算的经修改后的数据类型来执行多个运算中的每个运算。

技术领域

本文中讨论的实施方式涉及信息处理装置、机器学习方法和存储机器学习程序的非暂态计算机可读存储介质。

背景技术

近年来，各种公司一直致力于开发针对深度学习而优化的处理器。对于机器学习也是如此。深度学习是机器学习的一种方法。

深度学习中使用的运算主要是张量运算，并且其特征在于，随着学习的进行，张量的每个元素的值的偏差变小。聚焦于深度学习中执行的许多运算的这样的特殊属性，已经发布了针对深度学习设计的处理器，例如以8位整数执行推理运算的处理器。通常，当使用8位定点数或16位定点数来执行运算时，可以缩短运算时间。

期望这些处理器通过以低运算精度执行运算来改善功率到运算性能。然而，由于现有处理器的运算精度由硬件预先确定，因此，在随着学习的进行而张量的每个元素的变化变小的深度学习中执行的运算的特性没有被充分利用。此外，即使在深度学习中使用的运算也具有以下缺点：如果运算精度降低，则学习有时不会依赖于运算而进行。指定这样的运算是困难的。

因此，存在用于根据运算的内容来确定是执行32位浮点运算还是8位定点运算的技术。然而，在深度学习的一次迭代中执行的运算中，存在即使在学习已经进行到一定程度之后张量的每个元素的变化还变大的一些运算。在这样的每个元素的变化中间变大的运算中，在根据运算的内容预先降低运算精度时，存在难以进行精确运算的可能性。

注意，作为深度学习中的算术处理的技术，存在以下现有技术：预先计算输入张量的每个元素以将运算转换成2的幂次方的表达式形式，并且通过使用用于卷积运算的权重张量和输入张量的加法和移位运算来执行运算。此外，存在以下现有技术：获取关于作为对具有定点数的数据执行命令的结果的位分布的统计信息，并且更新定点数的小数点位置。另外，存在以下现有技术：从一系列运算中识别第一运算，选择要与第一运算分组的第二运算，并且通过分组的运算来处理输入数据。

相关技术的示例包括日本特开专利公报第2018-181313号、日本特开专利公报第2018-124681号和日本特开专利公报第2019-169150号。

然而，在将32位浮点数转换为16位定点数或8位定点数时以及将16位定点数或8位定点数转换为32位浮点数时，由于数据类型转换而产生延迟。因此，在将32位浮点数转换为8位定点数之后执行运算，然后再次执行诸如返回32位浮点数的处理时，不一定每次缩短了运算时间，并且也不保证减少了处理时间。例如，存在以下情况：转换数据类型需要时间，并且当整体考虑时，通过执行使用32位浮点数的处理来启用高速运算。以这种方式，当关注个体运算并且针对每个运算确定数据类型使得局部处理时间被缩短时，存在难以将用于整个深度学习的处理时间保持为最小的可能性。因此，难以提高深度学习的效率。这里，由于在处理时间内执行运算要消耗电力并且确保运算资源，因此与运算有关的成本可以被认为与处理时间成比例，并且因此处理时间有时被称为运算成本。

此外，即使利用通过使用输入张量和卷积运算的权重张量执行加法和移位运算来执行运算的现有技术，也可以提高每次运算的效率，但是难以使整个深度学习的处理时间保持较短。另外，即使在基于作为执行命令的结果的位分布的统计信息来更新定点数的小数点位置的现有技术中，也没有考虑用于整个深度学习的处理时间，并且难以使处理时间保持较短。同样地，即使在将一系列运算分组以处理输入数据的现有技术中，因为没有考虑由于数据类型转换而造成的延迟，因此难以使整个深度学习的处理时间保持较短。因此，难以通过现有技术中的任何技术来提高深度学习的效率。