[发明专利]用于确定表示DNN的层的值的定点数格式的方法和系统

说明书

本公开涉及用于深度神经网络的硬件实现的误差分配格式选择。用于基于DNN的输出误差中归因于不同层的定点格式的部分来确定DNN的一个或多个层的定点格式的方法。具体地，在本文描述的方法中，使用泰勒近似来确定可归因于每个层的权重或输入数据值的量化的DNN的输出误差，并且基于该归因来调整一个或多个层的定点数格式。例如，在由DNN使用的定点数格式包括指数和尾数位长度的情况下，可以减少分配有最少部分的输出误差的层的尾数位长度，或者可以增加分配有最多部分的输出误差的层的尾数位长度。可以迭代地重复这种方法以确定DNN的层的一组最佳定点数格式。

技术领域

本公开涉及用于深度神经网络的硬件实现的误差分配格式选择。

背景技术

深度神经网络(DNN)是可以用于机器学习应用的一种人工神经网络。具体地，DNN可以用于信号处理应用，包括图像处理和计算机视觉应用。

DNN已经在其中功率资源不是重要因素的应用中被实现。尽管如此，DNN还应用于许多不同的技术领域，在这些领域中用于实现DNN的硬件资源的功耗、处理能力或硅面积是有限的。

因此，需要实现被配置为以有效方式(即，以在操作时需要更少硅面积或更少处理能力的方式)实现DNN的硬件。此外，DNN可以以多种不同的方式被配置以用于各种不同的应用。因此，还需要用于实现DNN的硬件能够灵活地支持各种DNN配置。

以下描述的实施例仅作为示例被提供，并且不限制解决深度神经网络的已知硬件实现的任意或所有缺点的实现方式。

发明内容

提供该发明内容是为了介绍将在以下详细描述中进一步描述的一些概念。该发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

本文描述的是用于基于DNN的输出误差中归因于每个层的权重和/或输入数据值的量化的部分来确定DNN的一个或多个层的定点数格式的方法。具体地，在本文描述的方法中，使用泰勒近似来确定可归因于每个层的权重或输入数据值的量化的DNN的输出误差，并且基于该归因来调整一个或多个层的定点数格式。例如，在由DNN用来表示权重和/或输入数据值的每个定点数格式包括指数和尾数位长度的情况下，可减小归因于最少部分的输出误差的(一个或多个)层的尾数位长度，或者可以增加归因于最多部分的输出误差的(一个或多个)层的尾数位长度。可以迭代地重复这种方法，以确定DNN的层的在预定的最大输出误差内的一组最佳定点数格式。

第一方面提供了一种确定用于表示深度神经网络“DNN”的一个或多个层的值的定点数格式以用于配置DNN的硬件实现的计算机实现的方法，这些值包括权重和输入数据值中的至少一者，该方法包括：接收被配置为根据一个或多个层中的一层的一个或多个初始定点数格式来表示该层的值的DNN的实例；确定响应于测试输入数据的DNN的实例的输出；确定DNN的实例的输出相对于基线输出的可微分误差；使用泰勒近似来确定可微分误差中与一个或多个层中的每个层的值的量化相关的部分；基于该可微分误差中与一个或多个层中的每个层的值的量化相关的部分，调整一个或多个层中的至少一层的定点数格式。

第二方面提供了一种确定用于表示深度神经网络“DNN”的一个或多个层的值的定点数格式以用于配置DNN的硬件实现的基于计算的设备，这些值包括输入数据值和权重中的至少一者，该基于计算的设备包括：至少一个处理器；存储器，其耦合到该至少一个处理器，该存储器包括：DNN的实例，该DNN的实例被配置为根据一个或多个层中的一层的一个或多个初始定点数格式来表示该层的值；计算机可读代码，该计算机可读代码在由该至少一个处理器执行时，使得该至少一个处理器：确定响应于测试输入数据的DNN的实例的输出；确定DNN的实例的输出相对于基线输出的可微分误差；使用泰勒近似来确定可微分误差中与一个或多个层中的每个层的值的量化相关的部分；基于该可微分误差中与一个或多个层中的每个层的值的量化相关的部分，调整一个或多个层中的至少一层的定点数格式。