[发明专利]一种数据打包方法、装置

说明书

本发明提供一种数据打包方法、装置，该方法包括如下步骤：获取待打包的源文件；将获取的源文件分割成数据块；采用哈希算法为数据块计算FP指纹删除重复的数据保留具有相同FP指纹的数据块；创建数据块对应的物理文件的逻辑文件并将物理文件对应到逻辑文件；将FP指纹组成元数据序列并将待打包的源文件打包成设定格式的数据包。按照消除重复的粒度可以分为文件级和数据块级，数据块级的重复数据删除，其消重粒度更小，显然，使用数据块级消重方法的可以提供更高的数据消重率，因此，此种新型的数据打包技术采用数据块级的消重方式。可以有效提高存储产品的利用效率，减少能耗。

技术领域

本发明涉及存储数据管理技术领域，具体涉及一种数据打包方法、装置。

背景技术

随着存储技术的发展，人们对于存储的容量要求越来越高，与此同时对于存储空间的利用率要求也越来越高，有效提高存储的利用率可以使存储产品迅速占有市场高地。目前，存储市场上存在许多常见的数据压缩软件，例如：Tar，winrar，winzip等等，虽然这些压缩软件可以有效提高存储产品的利用率，但是存储产品的利用率仍然需要更大的提高。

发明内容

针对现有的压缩软件利用率不高的问题，本发明提供一种数据打包方法、装置。

本发明的技术方案是：

一方面，本发明技术方案提供一种数据打包方法，包括如下步骤：

获取待打包的源文件；

将获取的源文件分割成数据块；

采用哈希算法为数据块计算FP指纹删除重复的数据保留具有相同FP指纹的数据块；

创建数据块对应的物理文件的逻辑文件并将物理文件对应到逻辑文件；

将FP指纹组成元数据序列并将待打包的源文件打包成设定格式的数据包。

进一步的，所述的设定格式的数据包由三部分组成：文件头、唯一数据块集和逻辑文件元数据。

进一步的，所述的文件头是一个结构体，定义了数据块大小、唯一数据块数量、数据块ID大小、包中文件的数量、元数据在包中的位置信息；

文件头后紧接就存储着所有唯一的数据块；在数据块的后面，存储数据包中文件的逻辑表示元数据。

进一步的，所述的逻辑表示元数据，由多个实体组成，其中一个实体表示一个文件。

进一步的，在逻辑文件的实体头中记录着文件名长度、数据块数量、数据块ID大小和最后一个数据块大小信息。

进一步的，在逻辑文件的实体头后存储文件名数据，文件名数据之后，存储着一组唯一数据块的编号，其中所述的编号与唯一数据块集中的数据块一一对应。本申请的数据打包方法按照消除重复的粒度可以分为文件级和数据块级，数据块级的重复数据删除，其消重粒度更小，显然，使用数据块级消重方法的可以提供更高的数据消重率，因此，此种新型的数据打包技术采用数据块级的消重方式。可以有效提高存储产品的利用效率，减少能耗。

进一步的，该方法还包括：

读取数据时，先读取逻辑文件，然后根据FP序列，从存储系统中取出相应数据块，还原物理文件副本。

另一方面，本发明技术方案还提供一种数据打包装置，包括源文件获取模块、分割模块、计算处理模块、逻辑文件创建模块、数据包生成模块；

源文件获取模块，用于获取待打包的源文件；

分割模块，用于将获取的源文件分割成数据块；

计算处理模块，用于采用哈希算法为数据块计算FP指纹删除重复的数据保留具有相同FP指纹的数据块；