[发明专利]存储数据的减少冗余

说明书

本公开提供一种用于将电子数据存储在随机存储器上的计算机实现的方法和系统。所述方法包括：接收一组参数，其中参数包括文件系统信息、可启动性信息和分区信息；接收元数据；接收一个或多个文件，其中每个文件具有文件名并且包括多个比特；将参数和元数据存储在中介器上；编码所述一个或多个文件中的每一个以存储在随机存取存储器中；对于编码文件的每一个，将多个比特标记符存储在随机存取存储器上的某个位置处；在中介器上存储每个文件名与随机存取存储器上的位置的相关性，其中相关性可存储在单个中介器上；将一个或多个文件存储在随机存取存储器上，一个或多个文件不具有文件系统信息、可启动性信息和分区信息中的任何一个。

本申请为申请日是2014年1月31日、申请号是201480016699.9(PCT/US2014/014225)、发明名称为“存储数据的减少冗余”的中国申请的分案申请。

发明领域

本发明涉及数据的存储。

发明背景

二十一世纪已经见证了人们和公司生成和存储的数字化信息的量成指数级增长。这类信息由通常存储在磁性表面(如磁盘)上的电子数据组成。这些磁盘含有尺寸为亚微米并且能够存储数条单独二进制数据的较小区域。

在任何给定实体所存储的巨量数据内，经常存在信息的明显重复。举例而言，相同的公司信头可以出现在数千个文档中，并且对应于这个数据的每个文件将含有针对信头进行编码的比特。历史上，许多实体已经接受这类重复存在于它们的文件中，以及相同信息的冗余存储的无效是开展业务的成本。

因为存储成本不断增加以及存储的可用性不断降低，所以众多实体已经开始探究某些方式来供存储比文件内或文件之间所有重复信息更少的信息。理论上，力图避免重复信息的存储或最小化重复信息存储的次数的实体，可以力图识别其数据集内的独特比特或字节样式，并且以最小的次数来存储这些独特比特或字节样式。为了执行这些方法，在准备新的文件用于存储时，这些文件内的信息将会与已存储的参考信息集进行比较，并且，只有正在考虑的比特或字节样式是独特的，其才会被存储。如果所述比特或字节样式不是独特的，那么便会用参考数据来取代冗余数据，所述参考数据在大小上小于指向所存储数据的数据，所述数据是存储数据的重复。

减少重复信息存储的次数的目标面临很多挑战，包括但不限于：(1)保持检查冗余的足够速度；(2)保持数据重建而便于检索的足够速度；(3)确保在检查冗余或存储对应于最初文件的信息的过程中数据不会丢失；(4)针对存储信息未经授权的存取进行保护；以及(5)提供可以与获取数据快照、克隆数据和恢复数据中的一个或多个操作(即便不是所有这些操作)结合使用的有效技术和方法。本发明的各种实施方案的意图在于克服这些挑战中的一个或多个挑战。

发明概述

本发明提供方法、系统和计算机程序产品，用以改善数据存储和检索的效率，而同时最小化冗余数据多次不必要存储的程度。通过使用本发明的各种实施方案，相关人员可以有效地存储和存取数据。借助本发明的这些各种实施方案，相关人员可以变换数据和/或更改变换后或转换后数据所存储的物理装置。这可以借助使用计算机的自动化过程来完成，所述计算机包括或可操作性地耦接至计算机程序产品，在运行时，所述计算机程序产品执行本发明方法或过程中的一个或多个方法或过程。这些方法或过程可以(例如)体现在计算机算法或脚本中或者包括所述计算机算法或脚本，并且可选地由系统借助一个或多个模块来执行。