[发明专利]OZIP压缩和解压缩

摘要

提供了用于数据压缩和解压缩编解码器OZIP的方法、装置和系统。OZIP利用固定大小的静态字典，该静态字典可以从待被压缩的输入数据的随机采样中生成。通过直接标记编码压缩为静态字典使编码流线化并且避免昂贵的条件分支，从而便于硬件实现和高并行度。通过将标记定义大小和静态字典大小限制为诸如字长或处理器高速缓存大小之类的硬件架构约束，可以使硬件实现快速并且成本有效。例如，可以通过使用SIMD指令处理器扩展来加速解压缩。可选的存储的元数据中的细粒度的块映射允许压缩数据被随机地快速存取，从而绕过动态字典的处理开销。因此，OZIP可以支持诸如用于OLTP系统之类的用于高度随机工作负载的低延迟随机数据存取。

主权项

1.一种用于压缩数据的方法，包括：从输入数据的一部分确定静态字典，所述静态字典包括多达字典条目的最大数量的多个条目，所述多个条目中的每个条目将标记映射为定义，所述定义具有多达由一个或多个计算设备的一个或多个处理器的字大小限制的最大字节大小的长度；其中所述字典条目的最大数量被配置以使得所述静态字典中的所述多个条目的所有定义能够容纳在所述一个或多个计算设备的所述一个或多个处理器的处理器高速缓存内；使用所述静态字典标记化所述输入数据以生成压紧的、顺序的多个标记，所述压紧的、顺序的多个标记中的每个标记具有被配置为对所述最大数量的字典条目寻址的固定标记大小；存储所述静态字典和所述压紧的、顺序的多个标记；其中所述方法由一个或多个计算设备执行。