[发明专利]具有异常块浮点的神经网络激活压缩

摘要

公开了用于使用具有异常值的经量化精度数据格式训练神经网络加速器的装置和方法，并且具体地，公开了用于以压缩格式存储来自神经网络的激活值以供在神经网络的前向和后向传播训练期间使用。在所公开的技术的某些示例中，计算系统被配置为执行针对神经网络的层的前向传播以产生第一块浮点格式的第一激活值。在一些示例中，由前向传播生成的激活值被压缩器转换为比第一块浮点格式具有更窄的数值精度的第二块浮点格式。包括尾数和/或指数的附加位的异常值被存储在用于激活值的子集的辅助存储装置中。压缩的激活值被存储在存储器中，其中压缩的激活值可以被取回以供在后向传播期间使用。