[发明专利]一种数据复制方法及装置

说明书

技术领域

本发明涉及存储技术领域，尤其涉及一种数据复制方法及装置。

背景技术

复制技术是网络存储中一种数据保护技术，其主要实现手段是利用IP网络，实现两台存储设备的LUN资源（逻辑存储资源）之间的数据“同步”，其目的是为LUN建立和维护数据副本。很多时候复制是远程的复制，受益于IP网络传输能力的不断提升，远程复制正在得到更为广泛的使用。

远程复制的核心思想就是在灾难备份中心为生产中心的LUN（称为复制源）建立数据副本（称为复制副本），将复制源中发生变化的数据周期性的同步到复制副本。一旦一台存储设备所在区域发生灾难导致该设备上数据丢失时，可使用远程的方式在另一台存储设备上的数据副本恢复出生产数据。

考虑到远程复制通常会跨越广域网络（比如IP WAN），为了提高复制的处理效率和节约广域网络的带宽，因此复制通常采用增量复制方式，即每次复制同步时，仅复制两个复制时间点之间发生变化的数据。在复制源一侧，作为远程复制的源资源，存储设备需要记录在两次复制之间的数据的变化情况。目前数据变化情况主要通过差异位图来进行标识，差异位图通过一个bit标识复制源某一段存储空间/区域内的数据发生了变化，需要同步到复制副本。这一段存储空间/区域简称为数据块，其大小（通常称为差异粒度）一般是固定的。其实现方法是，当复制源有写入操作时，确定哪些区域内的数据发生了变化，进而同步更新差异位图记录变化。

从以上描述可以看出，所述差异粒度越小，则差异数据变化的记录就越精确。但是在目前网络中数据量飞速增长的情况下，LUN容量越来越大，此时差异粒度越小，则差异位图所占用的空间就会越大。例如复制源的大小为128TB时，如果差异粒度为一个扇区，则差异位图的大小为32GB。维护差异位图的代价将越来越大，需要考虑差异位图所占的处理资源、差异位图的更新频率、差异位图的访问速度、对复制源在线业务的影响等诸多因素。因此在目前业界通用的实现中，差异粒度都比较粗，通常都大于64KB。

粗粒度的差异位图带来的问题就是：即使只修改了很小一部分数据，但是需要按照差异粒度传输全部的数据。请参考图2的示例，假设差异粒度是1M。通过差异位图发现第一个数据块的数据存在差异，这1M的差异数据中实际上只有前12K数据是不一致的，而其他数据都是一致的。这些其他数据理论上是没有必要复制的。为了降低数据传输量，提高链路带宽的使用率，一种改进作法是：在复制差异数据传输前，再进行微扫描，即通过特定方法进一步比较复制源和复制副本上差异粒度中的数据，获取更细差异粒度上的差异数据。图2中微扫描使用了更细的差异粒度4KB，其中相应的位图并没有全部显示出来。在实现上，可以通过分段MD5校验获得复制源和复制副本的差异，这样就可以知道在图2中只有前12K数据是不一致的。

通过微扫描方式，可以减少复制过程中传输的数据量，但是微扫描引入了新的处理流程，一方面，微扫描需要读复制源，额外的读操作会影响复制源的在线业务性能；另一方面，需要进行微扫描的存储空间越大，对复制源的在线业务性能影响越大。

发明内容

有鉴于此，本发明提供一种数据复制装置，应用于存储设备上，该存储设备用于将复制源的数据发送给复制副本上去，该装置包括业务处理单元、初始化处理单元、位图遍历单元、差异获取单元以及复制执行单元，中：

业务处理单元，用于处理面向复制源的数据写入业务，将数据写入到对应的数据块上，并相应更新差异位图以及写入统计表；其中该差异位图包括若干标志位，每一标志位对应于一个数据块，所述写入统计表包括与标志位对应的写入统计参数；

初始化处理单元，用于在需要执行复制操作时，挂起业务处理单元的数据写入业务以暂停向复制源中写入数据；将差异位图以及写入统计表进行备份，并在备份完成后将差异位图以及写入统计表初始化，然后恢复业务处理单元的数据写入业务；

位图遍历单元用于判断备份的差异位图是否遍历结束，如果是则通知初始化处理单元结束本次复制，否则获取备份的差异位图中的下一个标志位作为当前标志位；判断当前标志位是否表示有数据差异，如果是则从备份的写入统计表中读取当前标志位对应的写入统计参数，否则返回继续判断备份的差异位图是否遍历结束；

差异获取单元，用于判断读取到的写入统计参数是否已经达到预设阈值，如果是则获取该标志位对应的数据块上的数据作为差异数据，否则对该标志位对应的数据块执行微扫描操作以获得对应的差异数据；

复制执行单元，用于将差异数据发送给复制副本。