[发明专利]数据处理方法、数据格式和设备

说明书

技术领域

本发明涉及数据备份技术领域，尤其涉及一种数据处理方法、数据格式和设备。

背景技术

为了防止数据的丢失，人们通常会将系统或信息进行备份，从而把备用的数据保存到备份磁盘中。但是，对数据进行备份时不可避免的会出现重复的数据存放到备份磁盘的现象，例如多次完整备份，或增加备份等。

为了减少备份磁盘中存储重复数据造成的空间浪费，业界磁盘厂商提出了一种重复数据删除技术，利用重复数据删除技术可以删除掉备份磁盘中的重复数据。重复数据删除技术具体为：将备份到重删存储介质中的文件划分为不同大小的多个数据块，然后采用特征提取算法分别计算每个数据块的索引。将计算得到的索引进行匹配，如果有索引相同，说明这索引对应的数据块是重复的。从而可以仅保留重复数据块中的一个数据块，而删除其他的数据块，并保留全部重复的索引。最后在重删存储介质中该文件被保留成为索引的集合以及不重复的数据块的集合，其中每一个索引可以指向一个唯一不同的数据块。从而删除由于多个全备或增备数据所带来的冗余数据，节省磁盘空间。

但是，由于磁盘本身的成本较高，重删存储介质中的数据通常会导出到成本更低的磁带库中，当控制器将重删存储介质中的备份数据读取出来并发送到磁带库时，需要将重删后的数据还原为非重删数据，即恢复已删除的重复数据块，得到完整的文件，然后再将完整的文件发送到磁带库。从而造成重删存储介质导出的数据量较大，造成磁带库的存储空间浪费的问题。

发明内容

本发明的实施例提供一种数据处理方法、数据格式和设备，可以降低重删存储介质导出到磁带库的数据量，节省磁带库的存储空间。

为达到上述目的，本发明的实施例采用如下技术方案：

本发明的第一方面提供一种数据处理方法，应用于重删存储介质的控制器，所述重删存储介质中存储有多个数据块以及数据块的索引，每个数据块对应至少一个索引；该方法包括：

所述控制器将重删存储介质中的数据块以及所述数据块的存储信息发送给第一目标磁带，其中所述数据块的存储信息包含所述数据块的存储地址范围；

生成所述数据块的索引与所述第一目标磁带的映射关系；

将所述重删存储介质中的索引以及所述索引的存储信息发送给第二目标磁带，其中所述索引的存储信息包含所述索引的存储地址范围。

结合本发明的第一方面，在一种可能的实现方式中，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并保存在所述重删存储介质中。

结合本发明的第一方面，在另一种可能的实现方式中，所述生成所述数据块的索引与所述第一目标磁带的映射关系，包括：

生成所述数据块的索引与所述第一目标磁带的映射关系，并发送给所述第二目标磁带。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，在将数据块以及所述数据块的存储信息发送给第一目标磁带之前，还包括：

获取磁带库中各磁带的容量信息；

确定待发送的数据块的大小和索引的大小；

根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带，其中，所述第一目标磁带包括一个或多个磁带，所述第一目标磁带的容量总和大于或等于所述数据块的大小，所述第二目标磁带包括一个或多个磁带，所述第二目标磁带的容量总和大于或等于所述索引的大小。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，所述方法还包括：

接收读取所述第二目标磁带的指示，并根据所述指示读取所述第二目标磁带；

获取所述第二目标磁带中存储的索引的存储地址范围，并从所述索引的存储地址范围中读取索引；

根据所述索引与所述第一目标磁带的映射关系，确定所述索引对应的数据块存储的第一目标磁带；

获取所述第一目标磁带中存储的数据块的存储地址范围，并从所述数据块的存储地址范围中读取数据块。

结合本发明的第一方面和上述可能的实现方式，在另一种可能的实现方式中，在根据所述各磁带的容量信息和所述数据块的大小确定第一目标磁带确定所述第一目标磁带，根据所述各磁带的容量信息和所述索引的大小确定所述第二目标磁带之后，所述方法还包括：

保存所述第一目标磁带的信息和所述第二目标磁带的信息；