[发明专利]一种ceph数据同步模块主端写性能优化系统及方法

说明书

一种ceph数据同步模块主端写性能优化系统及方法，通过在rbd journal落盘和数据落盘之间增加一层内存cache，在rbd journal落盘后先将数据写入cache而不是直接数据落盘，等到业务不忙时再从cache回刷到磁盘。这样即使在数据没有落盘之前，上层应用也可以从cache读到新写入的数据，不会读到旧的数据。之前两次落盘就变成了一次落盘和一次写内存cache，因为写内存的速度要远远快于写磁盘的速度，一次IO写的延迟只增加写内存的时间，因此写性能也可以从下降50%以上提高到只下降10%左右。

技术领域

本发明属于分布式存储领域，涉及在开源分布式存储系统ceph中数据同步模块rbd mirror主端写性能优化。

背景技术

云存储是由云计算概念延伸发展出来的一个新兴的概念，它指通过集群应用、网络技术或分布式文件系统等网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性和高扩展性。

rbd mirror是分布式存储软件ceph的rbd块存储数据同步模块，rbd mirror实现了两个以及多个ceph集群之间数据的准实时同步，成为ceph实现多数据中心灾备的存储基础。rbd mirror的实现原理如下：

1、第一次打开rbd mirror同步时，对主端的rbd做一个快照，rbd mirror进程通过主端的快照从主端同步数据到备端恢复出一个备份的rbd；

2、之后主端写入数据时，先追加写入rbd journal，在rbd journal落盘后一方面在主端完成数据落盘，另一方面通知rbd mirror进程同步数据到备端回放。

rbd journal是ceph在librbd中实现的一种类似于数据库write-ahead-log的技术。rbd mirror进程读取rbd journal在备端回放从而实现数据的同步；另外主端也可以在异常场景下从rbd journal回放数据实现数据修复，比如在数据落盘前节点掉电。

考虑到存储集群在写数据时，集群可能发生多种异常情况，为了保证rbd journal数据的安全性，rbd journal也需要和其他数据一样保存在ceph集群中直到主备两端数据都落盘成功才能够删除。

从主端考虑，为了保证数据的一致性，rbd journal落盘和数据落盘必然需要是一个串行的过程，以保证只有rbd journal落盘成功后数据才开始落盘，如果在数据落盘的过程中集群掉电，就可以通过完整的rbd journal回放来修复未完成落盘的数据。

rbd mirror和rbd journal的结合使用完成了多个ceph集群之间数据准实时同步，并且很好的保证了数据的安全性。但是同时引入了主端写数据性能下降的问题，由于主端写数据时需要先写rbd journal再数据落盘并且是一个串行的过程，所以相比于之前现在一个IO需要两次落盘，延迟增加了一倍，导致主端集群性能下降50%以上。

发明内容

本发明针对现有技术中的不足，提供一种ceph数据同步模块主端写性能优化系统及方法，为ceph集群在rbd mirror同步打开后主端集群写性能提供一个优化方案。

ceph集群打开rbd mirror同步需要在主端打开rbd journal特性，主端一次IO需要两次落盘，导致主端集群性能下降50%以上。本发明通过在rbd journal落盘和数据落盘之间增加一层内存cache，在rbd journal落盘后先将数据写入cache而不是直接数据落盘，等到业务不忙时在从cache回刷到磁盘。这样即使在数据没有落盘之前，上层应用也可以从cache读到新写入的数据，不会读到旧的数据。