[发明专利]用于将大数据变换成较小的表示的系统和方法

说明书

一种系统包括：具有一个或更多个核心的处理器；以及存储器，其包括配置处理器以执行方法的指令，该方法包括：接收具有数据长度的数据集；确定数据集的位模式；生成位模式的参考集合，该集合具有设定长度，该设定长度等同于数据长度，该位模式的集合包括从全0到全1的每个可能的不同位模式；使用应用于测试数据的第一位模式生成函数来确定第一测试位模式；使用第一测试位模式的位置和数据集的位模式的位置来确定在第一测试位模式和数据集的位模式之间的距离，所述位置是相对于位模式的参考集合的；在数据集的位模式的方向上迭代第一测试模式生成函数，并将第一测试模式生成函数与至少一个第二测试模式生成函数组合以确定应用于测试数据的第二测试位模式；使用第二测试位模式的位置和数据集的位模式的位置来确定在第二测试位模式和数据集的位模式之间的距离，所述位置是相对于位模式的参考集合的；如果在第二测试位模式和数据集的位模式之间的距离在阈值距离内或等于阈值距离，则基于阈值距离来生成误差函数并提供位模式函数和误差函数以重新产生数据集，位模式函数等同于第一测试模式生成函数的迭代以及第一测试模式生成函数与至少一个第二测试模式生成函数的组合；以及基于位模式函数和误差函数来恢复数据集。

技术领域

本发明的实施例通常涉及数据压缩和解压缩技术。

背景

大数据存储储存起来是昂贵的，且花费大量时间来越过通信线路传输。有可以将大数据存储的大小相当多地减小到较小的表示并将较小的表示返回到原始大数据存储的系统和方法将是有帮助的。

概述

在一些实施例中，本发明提供了一种系统，其包括：具有一个或更多个核心的至少一个处理器；以及存储器，其部分地包括配置至少一个处理器以执行方法的指令，该方法包括：接收具有数据长度的数据集；确定数据集的位模式；生成位模式的参考集合，该集合具有设定长度，该设定长度等同于数据长度，该位模式的集合包括从全0到全1的每个可能的不同位模式；使用应用于测试数据的第一位模式生成函数来确定第一测试位模式；使用第一测试位模式的位置和数据集的位模式的位置来确定在第一测试位模式和数据集的位模式之间的距离，所述位置是相对于位模式的参考集合的；在数据集的位模式的方向上迭代第一测试模式生成函数，并将第一测试模式生成函数与至少一个第二测试模式生成函数组合以确定应用于测试数据的第二测试位模式；使用第二测试位模式的位置和数据集的位模式的位置来确定在第二测试位模式和数据集的位模式之间的距离，所述位置是相对于位模式的参考集合的；如果在第二测试位模式和数据集的位模式之间的距离在阈值距离内或等于阈值距离，则基于阈值距离来生成误差函数并提供位模式函数和误差函数以重新产生数据集，位模式函数等同于第一测试模式生成函数的迭代以及第一测试模式生成函数与至少一个第二测试模式生成函数的组合；以及基于位模式函数和误差函数来恢复数据集。

附图简述

在所附的权利要求中以特殊性阐述了本技术的各种实施例的某些特征。通过参考阐述说明性实施例(其中本发明的原理被利用)的下面的详细描述和附图将获得本技术的特征和优点的更好理解，其中：

图1是描绘根据一些实施例的用于在数据的较大表示和数据的较小表示之间变换数据的系统的框图。

图2是示出根据一些实施例的计算机系统的框图，在该计算机系统上可以实现本文描述的一个或更多个数据变换操作。

图3(a)、3(b)和3(c)示出数据编译器(DC)和Turing Dedekind设备(TD)的多个可能的实现。

图4示出为所有N提供任何大小的N位模式的组合复杂性的视觉表示的向量，该向量还提供示出由在加载时间的DC和在运行时间的TD执行的N个不同的但相关的操作集合的模板。

图5示出HCSSFHIL，其示出它由两个或更多个循环组成，每个循环表示生成产生输出位模式的函数，输出位模式包含使它有资格作为如由HCSSFHIL的描述性名称所表示的HCSSFHIL的特征。这些循环由可以表示加法或任何其他函数的一个或更多个不同的运算连接。