[发明专利]有损恢复的有损显著性压缩

说明书

描述了用于数据的有损压缩和恢复的系统和方法。原始数据首先被截断。然后，将截断的数据压缩。然后可以使用更少的位有效地存储和/或传输压缩的截断数据。为了恢复数据，然后对压缩的数据进行解压缩并链接恢复位。选择恢复位以补偿由截断引入的统计偏差。

相关申请的交叉引用

本申请要求2018年12月14日提交的美国非临时专利申请第16/220,540号的权益，其内容通过引用特此并入本文。

背景技术

计算机存储器、缓存和链接被设计为无损的，以便精确地重现存储的信息。然而，在诸如机器学习的一些应用中，不需要精确的值。实际上，在许多这样的情况下，使用精确值会导致机器学习系统的性能下降，而没有任何其他好处。

附图说明

可从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：

图1是其中可以实现一个或多个所公开的实现方式的示例装置的框图；

图2A是根据一个示例的压缩单元的框图；

图2B是根据一个示例的恢复单元的框图；

图2C是用于压缩数据的技术的示例流程图；

图2D是用于恢复压缩的数据的技术的示例流程图；

图3是仅使用基于字典的频繁值压缩(FVC)实现的数据压缩的示例；

图4是根据某些实现方式的数据压缩和恢复的示例；

图5A是利用恢复单元进行评估的机器学习系统的框图；

图5B是利用压缩单元和恢复单元进行训练的机器学习系统的框图；

图6A是用于执行评估的机器学习技术的示例流程图；以及

图6B是用于执行训练的机器学习技术的示例流程图。

具体实施方式

本公开涉及用于数据的有损压缩和恢复的技术。根据该技术，原始数据被截断。然后，将截断的数据压缩。然后可以使用更少的位有效地存储和传输压缩的截断数据。为了恢复数据，对压缩的数据进行解压缩。然后将恢复位添加到解压缩的数据。在一些实现方式中，选择恢复位以补偿由截断引入的统计偏差。

所公开的用于数据的有损压缩和恢复的系统和方法可以应用于中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、现场可编程门阵列(FPGA)或利用存储器、高速缓存和互连件的任何其他处理装置。在一些情况下，用于数据的有损压缩和恢复的技术可以用于存储器压缩、高速缓存压缩、寄存器文件压缩、链接压缩以及数据传输和存储的其他情况。

在许多机器学习系统中，工作负载受存储器瓶颈的影响。具体地，许多机器学习工作负载涉及使用人工神经网络基于一个或多个输入值来生成一个或多个预测分数。通过人工神经网络进行处理涉及计算每个神经元的传递函数，其中基于可调整的权重对每个神经元的输入偏差化。在大型神经网络系统中，大量的神经元且因而大量的权重导致在处理单元和存储器之间传输大量数据。具体地，在生成预测的过程中，可能在存储器和处理单元之间传输大量的神经元权重。该事实可能导致存储器带宽成为生成此类预测的速度的瓶颈。