[发明专利]使用激活数据的压缩和解压缩来减少存储器带宽利用率的神经网络处理器

摘要

深度神经网络(“DNN”)模块可以压缩和解压缩神经元生成的激活数据，以减少存储器总线带宽的利用率。压缩单元可以接收由DNN模块中的神经元生成的未压缩数据块。压缩单元生成压缩输出块的掩码部分和数据部分。掩码部分对未压缩数据块中的零字节和非零字节的存在和位置进行编码。数据部分存储来自未压缩数据块的截断的非零字节。解压缩单元可以从DNN处理器中的存储器或应用主机的存储器中接收压缩数据块。解压缩单元使用掩码部分和数据部分对压缩数据块进行解压缩。这可以减少存储器总线利用率，允许DNN模块更快地完成处理操作，并降低功耗。

主权项

1.一种神经网络处理器，包括：/n一个或多个神经元；和/n压缩单元，所述压缩单元被配置为：/n接收由所述神经网络处理器中的所述神经元中的至少一个神经元生成的未压缩数据块，所述未压缩数据块包括固定数目的字节；/n生成压缩输出块的掩码部分，所述掩码部分包括与所述未压缩数据块中的字节的所述固定数目相等的数目的比特，所述掩码部分中的每个比特对应于所述未压缩数据块中的字节，以及其中所述掩码部分中的每个比特在所述未压缩数据块中的对应字节为零的情况下被设置为逻辑零，并且在所述未压缩数据块中的对应字节为非零的情况下被设置为逻辑一；/n通过以下操作生成所述压缩输出块的数据部分：/n确定所述未压缩数据块中的非零字节的数目，/n基于所述未压缩数据块中的所述非零字节的数目，确定所述压缩输出块的所述数据部分中的、可用于存储所述未压缩数据块的截断的非零字节的比特的数目，/n将所述未压缩数据块中的所述非零字节截断为所确定的所述比特的数目，以及/n将所述截断的非零字节存储在所述压缩输出块的所述数据部分中；以及/n输出所述压缩输出块，所述压缩输出块包括所述掩码部分和所述数据部分。/n