[发明专利]适用于人工神经网络的用于处理压缩数据的解压缩技术

说明书

本发明公开了一种适用于人工神经网络的用于处理压缩数据的解压缩技术。压缩数据通常有利于减少例如传输和存储数据所需的计算资源。在处理稀疏数据(包括许多零或接近零值的数据)并且只有高于某阈值的非零值才有意义时，对数据进行压缩特别有用。当处理压缩数据时，通常需要对数据进行解压缩以进行处理(例如，由深度学习网络或配置为对稀疏或其他未压缩数据进行操作的其他应用程序)。公开了用于支持由诸如CPU和GPU之类的处理单元对压缩数据进行解压缩的指令。

要求优先权

本申请要求于2019年3月8日提交的、申请号为62/815,887(案卷 号为NVIDP1227+/18-SC-0146US01)、题为“适用于人工神经网络的用于 处理压缩数据的解压缩技术(DECOMPRESSION TECHNIQUES FOR PROCESSING COMPRESSED DATA SUITABLE FORARTIFICIAL NEURAL NETWORK)”的美国临时申请的权益，其全部内容通过引用并 入本文中。

技术领域

本发明涉及压缩数据，更具体地涉及压缩数据的解压缩。

背景技术

在计算中存在许多情况，其中压缩数据是有益的。通常，由于数据 的压缩将减小数据的大小，因此与不压缩数据所需要的计算资源(例如， 带宽、存储等)相比，可以需要更少的计算资源来传输、存储，以及有时 甚至处理压缩数据。当处理稀疏数据时，发现数据的压缩特别有用，如下 所述。当然，应该注意的是，由于上述原因，数据压缩对于可能不一定稀 疏的其他类型的数据可能同样有用。

在深度学习网络和其他应用中，通常包含被认为是稀疏数据(或者 换句话说，包括许多零值或接近零值的数据)的大量数据。由于这些应用 中包含的数据尺寸大，压缩数据(例如，减小数据大小)以便在传输数据 时节省带宽资源并在存储数据时节省存储器资源是有帮助的。通常，数据 将以一种格式压缩，该格式将试图保留原始数据中的有效值(例如，非零 值或高于预定阈值的值)，同时排除无效值。

然而，在许多情况下，必须对压缩数据进行解压缩以用于处理目的。 例如，深度学习网络(或上面提到的其他应用)通常要求数据在处理之前 处于解压缩状态。当数据由需要数据处于解压缩状态的硬件单元处理时尤 其如此。解压缩的数据将与最初执行压缩的原始数据相同或基本相同。遗 憾的是，处理压缩稀疏数据或其他类型的压缩数据的传统数据解压缩技术 通常很复杂并且在硬件中需要复杂的算术单元，这是昂贵的。因此具有解决与现有技术相关的这些问题和/或其他问题的需求。

发明内容

在一个实施例中，公开了一种用于对压缩数据的至少一部分进行解 压缩的指令的方法、计算机可读介质和系统。接收N元素数据结构作为输 入，其中N元素数据结构中的每个元素都有一值。预先通过压缩原始M元 素数据结构来生成N元素数据结构，其中NM。此外，接收与N元素数 据结构相关联的元数据作为输入。元数据为N元素数据结构中的每个值指 定该值在M元素数据结构中起源的位置。此外，可选地初始化目的地M元 素数据结构。通过在相关元数据指定的位置处向目的地M元素数据结构写 入N元素数据结构的一个或更多个值，来执行至少一个指令以将N元素数 据结构的至少一部分解压缩到目的地M元素数据结构的至少一部分中。假 定N元素数据结构完全解压缩到目的地M元素数据结构中，压缩数据和未 压缩数据之间的压缩比是N比M(或N：M)。