[发明专利]深度神经网络硬件实现的基于直方图的每层数据格式选择

说明书

本公开涉及深度神经网络硬件实现的基于直方图的每层数据格式选择。一种选择用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式的基于直方图的方法。该方法包括获得表示该层的一组值的预期分布的直方图，该直方图的每个bin与频率值和浮点数格式的代表值相关联；根据多个可能的定点数格式中的每个定点数格式来量化代表值；针对多个可能的定点数格式中的每个定点数格式，基于直方图的频率值和针对每个bin的距离值来估计总量化误差，该距离值基于针对该bin的代表值的量化；并且选择与最小估计总量化误差相关联的定点数格式作为用于表示该层的一组值的最佳定点数格式。

技术领域

本发明涉及用于深度神经网络的硬件实现的基于直方图的每层数据格式选择。

背景技术

深度神经网络(DNN)是可以用于机器学习应用的一种人工神经网络。具体地，DNN可以用于信号处理应用，包括图像处理和计算机视觉应用。

DNN已经在其中功率资源不是重要因素的应用中被实现。尽管如此，DNN还应用于许多不同的技术领域，在这些领域中用于实现DNN的硬件资源的功耗、处理能力或硅面积是有限的。

因此，需要实现被配置为以有效方式(即，以在操作时需要更少硅面积或更少处理能力的方式)实现DNN的硬件。此外，DNN可以以多种不同的方式被配置以用于各种不同的应用。因此，还需要用于实现DNN的硬件能够灵活地支持各种DNN配置。

以下描述的实施例仅作为示例被提供，并且不限制解决深度神经网络的已知硬件实现的任意或所有缺点的实现方式。

发明内容

本发明内容被提供介绍将在以下详细描述中进一步描述的一些概念。本发明内容不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于限制所要求保护的主题的范围。

本文描述的是一种选择用于表示输入至和/或输出自深度神经网络(DNN)的一个层的一组值的定点数格式的基于直方图的方法。该方法包括获得表示该层的一组值的预期分布的直方图，其中该直方图的每个bin与频率值相关联；根据多个可能的定点数格式中的每个定点数格式来量化针对每个bin的浮点数格式的代表值；针对多个可能的定点数格式中的每个定点数格式，基于直方图的频率值和针对每个bin的距离值来估计由量化产生的总量化误差，该距离值基于针对该bin的代表值的量化；并且基于估计的总量化误差来选择用于表示该组值的定点数格式。

第一方面提供了一种标识用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式以用于配置DNN的硬件实现的计算机实现的方法，方法包括：获得表示该层的一组值的预期分布的直方图，其中，直方图的每个bin与频率值相关联；针对多个定点数格式中的每个定点数格式：根据定点数格式来量化针对每个bin的浮点数格式的代表值；并且基于针对每个bin的频率值和距离值来估计与定点数格式相关联的总量化误差，距离值基于针对该bin的代表值的量化；以及选择多个定点数格式中与最小估计总量化误差相关联的定点数格式作为用于表示该层的一组值的定点数格式。

第二方面提供了一种用于标识用于表示输入至和/或输出自深度神经网络“DNN”的一个层的一组值的定点数格式以用于配置DNN的硬件实现的基于计算的设备，基于计算的设备包括：至少一个处理器；以及存储器，被耦合到至少一个处理器，存储器包括：直方图，表示该层的一组值的预期分布，其中，直方图的每个bin与频率值相关联；以及计算机可读代码，在由至少一个处理器执行时，使得至少一个处理器执行以下操作：针对多个定点数格式中的每个定点数格式：根据定点数格式来量化针对每个bin的浮点格式的代表值；并且基于针对每个bin的频率值和距离值来估计与定点数格式相关联的总量化误差，距离值基于针对该bin的代表值的量化；以及选择多个定点数格式中与最小估计总量化误差相关联的定点数格式作为用于表示该层的一组值的定点数格式。