[发明专利]一种基于页写时复制的数据同步方法及系统

说明书

本发明提出了一种基于页写时复制的数据同步方法及系统，涉及数据备份领域。一种基于页写时复制的数据同步方法包括：初始化的系统上注册基于ebpf实现的捕获inode的共享程序；基于页数据复制的驱动，在内核的页刷磁盘写操作地方进行hook，在direct直接IO的写地方进行hook；其能够通过两套机制得保护，真正意义上完备实现这种页写时复制的手段。同时对于海量小文件的场景，本方案的ebpf提供一种意外的收获，可以精确的捕获到那些小文件变化，同时可以避免传统扫描海量文件系统时间戳检索文件变化情况。此外本发明还提出了一种基于页写时复制的数据同步系统，包括：初始化模块、操作模块以及一致性模块。

技术领域

本发明涉及数据备份领域，具体而言，涉及一种基于页写时复制的数据同步方法及系统。

背景技术

在数据备份领域离不开数据快照技术保护某个时间点的数据一致性，归纳而言业界有两个大的处理方式，一种标记技术、一种写时复制技术。其中标记技术是一种时间换空间，就是新写会写入新的空间进行引用标记，这种技术的实现，会带来很大的性能提升，但是随着数据的积累，频繁的写覆盖，数据的散落碎片化很严重，传统文件系统设计的数据预读、相邻io合并等技术反而拖慢系统，对应当前闪存等新存储介质是具备很高的优越性，但是备份领域的机械盘带来复杂的数据管理和性能问题。

另外一种写时复制技术，相对简单，但是每一次写会触发磁盘三次IO，极高的性能开销，延迟极其敏感的业务显得无力。本专利视图对上述两种快照技术的实现，提供一种更通用的设计思路，即基于内存页的写时复制，内存的数据复制拷贝开销远远低于基于磁盘IO的开销，同时几乎不会带来原始备份数据的开销。

发明内容

本发明的目的在于提供一种基于页写时复制的数据同步方法，其能够通过两套机制得保护，真正意义上完备实现这种页写时复制的手段。同时对于海量小文件的场景，本方案的ebpf提供一种意外的收获，可以精确的捕获到那些小文件变化，同时可以避免传统扫描海量文件系统时间戳检索文件变化情况。

本发明的另一目的在于提供一种基于页写时复制的数据同步系统，其能够运行一种基于页写时复制的数据同步方法。

本发明的实施例是这样实现的：

第一方面，本申请实施例提供一种基于页写时复制的数据同步方法，其包括初始化的系统上注册基于ebpf实现的捕获inode的共享程序；基于页数据复制的驱动，在内核的页刷磁盘写操作地方进行hook，在direct直接IO的写地方进行hook；根据不同节点的页数据复制，保证数据内存层面的复制一致性。

在本发明的一些实施例中，上述初始化的系统上注册基于ebpf实现的捕获inode的共享程序包括：捕获文件系统inode的变化，以识别文件的size。

在本发明的一些实施例中，上述根据不同节点的页数据复制，保证数据内存层面的复制一致性包括：应用触发一次快照，后台进行页数据复制同步，页数据复制的驱动模块通过协调两个hook保证原子性；进行hook前的所有页进行对端通讯，把所有的页数据通过网络的方式传输到对端。

在本发明的一些实施例中，上述还包括：后端接收服务在处理完了页接收数据后，进行一次快照，形成一个数据副本，以此反复形成备份数据的页拷贝副本。

在本发明的一些实施例中，上述根据不同节点的页数据复制，保证数据内存层面的复制一致性包括：页数据复制驱动实现一个原子结构，进行读写屏障保障新的页刷新、direct-io会被排队，基于ebpf的inode数据块变化持续捕获。

在本发明的一些实施例中，上述还包括：页拷贝过程的中断，通过基于ebpf实现的捕获inode的一套共享程序，得到inode变化的块；通过用户态偏移文件IO进行读取，对远端复制数据覆盖，完成一致性。