[发明专利]局部熵编码的数据压缩

说明书

用于压缩和解压缩数据的方法、系统和装置，包括编码在计算机存储介质上的计算机程序。在一个方面，编码器神经网络处理数据以生成输出，该输出包括作为代码符号的有序集合的数据的表示。使用一个或多个代码符号概率分布对代码符号的有序集合进行熵编码。基于代码符号的集合的熵编码表示和指示用于对代码符号的集合进行熵编码的代码符号概率分布的数据，确定数据的压缩表示。在另一方面，数据的压缩表示被解码以确定表示数据的代码符号的集合。通过解码器神经网络处理代码符号的集合来确定数据的重建。

技术领域

本说明书涉及数据压缩。

背景技术

压缩数据是指确定在存储器中占据较少空间的数据的表示。压缩数据可以被存储(例如，在逻辑数据存储区域或物理数据存储设备中)，通过通信网络(例如，互联网)被传输到目的地，或者以任何其他方式被使用。通常，数据可以从数据的压缩表示被(近似地或精确地)重建。

发明内容

本说明书描述了在一个或多个位置的一个或多个计算机上实现为计算机程序的系统，该系统执行数据压缩和数据解压缩。

根据第一方面，提供了一种用于压缩数据的系统。该系统包括编码器神经网络，其被配置为接收要压缩的数据，并根据一组编码器神经网络参数的当前值来处理数据。编码器神经网络生成包括作为代码符号的有序集合的数据的表示的输出。

系统还包括压缩子系统，其被配置为接收编码器神经网络的输出，该编码器神经网络的输出包括作为代码符号的有序集合的数据的表示。识别代码符号的集合到一个或多个代码符号子集的划分。对于每个代码符号子集，基于代码符号子集并从多个代码符号概率分布的字典中识别代码符号子集的代码符号概率分布。通过使用为代码符号子集识别的代码符号概率分布对代码符号子集进行熵编码，生成每个代码符号子集的熵编码表示。确定每个代码符号子集的压缩表示，该压缩表示包括：(i)代码符号子集的熵编码表示，和(ii)指示用于对代码符号子集进行熵编码的代码符号概率分布的数据。基于代码符号子集的压缩表示来确定数据的压缩表示。

在一些实施方式中，要压缩的数据包括图像。

在一些实施方式中，编码器神经网络是卷积神经网络。

在一些实施方式中，系统包括学习子系统，该学习子系统被配置为通过编码器神经网络并根据一组编码器神经网络参数的当前值处理一组训练数据中的数据。生成作为代码符号的有序集合的、该组训练数据中的数据的表示。对于代码符号的每个有序集合，识别代码符号的有序集合到一个或多个代码符号子集的划分。基于代码符号的有序集合的代码符号子集中的代码符号的分布，确定多个代码符号概率分布的字典。

在一些实施方式中，确定代码符号概率分布的字典包括：对于代码符号的有序集合的每个代码符号子集，确定相应的代码符号概率分布。对于每个代码符号子集，代码符号概率分布反映了代码符号子集中的代码符号的出现频率。对确定的代码符号概率分布进行聚类。代码符号概率分布的字典基于聚类的代码符号概率分布的聚类中心来确定。

在一些实施方式中，对代码符号概率分布进行聚类包括基于散度度量来确定代码符号概率分布之间的距离。

在一些实施方式中，识别代码符号子集的代码符号概率分布包括：对于字典中的每个代码符号概率分布，基于代码符号概率分布确定代码符号子集的熵编码表示的对应长度。代码符号子集的代码符号概率分布被识别为来自字典的、具有熵编码表示的最小对应长度的代码符号概率分布。

在一些实施方式中，基于代码符号概率分布确定代码符号子集的熵编码表示的长度包括根据代码符号概率分布，确定在代码符号子集中的每个代码符号上的、代码符号的概率的对数的总和。