[发明专利]用于深度神经网络的硬件实现的层次化尾数位长度选择

摘要

本公开涉及用于深度神经网络的硬件实现的层次化尾数位长度选择。提供了用于选择具有缩减的尾数位长度的、用于表示输入到深度神经网络DNN的层和/或从DNN的层输出的值的定点数格式的层次化方法。该方法以每个层具有一个或多个初始定点数格式开始。这些层被分成层的子集，并且定点数格式的尾数位长度在每个子集的基础上从初始定点数格式开始迭代地缩减。如果缩减导致DNN的输出误差超过误差阈值，则丢弃该缩减，并且不再对该子集的层进行缩减。否则，对该子集中的层的定点数格式进行进一步缩减。一旦不能对任何子集进行进一步的缩减，则针对持续增加的多个子集重复该方法，直到每个子集达到预定数量的层为止。

主权项

1.一种计算机实现的方法，所述方法用于选择用来表示输入到深度神经网络DNN的多个层和/或从所述DNN的多个层输出的值的定点数格式，以用于配置所述DNN的硬件实现，所述方法包括：接收所述DNN的实例，所述实例被配置为使用针对所述多个层中的每个层的一个或多个初始定点数格式来表示该层的值，每个初始定点数格式包括指数和尾数位长度；从所述多个层形成多个不相交的子集；对于多个子集中的每个子集，迭代地将针对所述子集中的层的定点数格式调整为具有下一最低尾数位长度的定点数格式，直到所述DNN的实例的输出误差超过误差阈值为止；响应于确定所述子集包括多于下限阈值数量的层，从所述多个层形成更多数量的不相交子集并重复迭代调整；以及响应于确定所述子集包括小于或等于所述下限阈值数量的层，输出针对所述多个层的定点数格式。