[发明专利]通过共享存储实现数据共享的方法和系统

说明书

技术领域

本发明涉及节点之间的共享存储的异常处理，特别涉及保证节点间数据一致性的共享存储异常处理。

背景技术

两个节点间可以通过共享存储系统来实现数据共享，并且共享存储挂载到服务器以提供服务。

这里的术语“节点”是指用于存储服务的计算单元。在本申请中所述的主节点、从节点就是处理存储事务的计算单元。

在HDFS热备方案中，主节点在共享存储及其本地磁盘记录下元数据，从节点从共享存储读取元数据并在其内存和本地磁盘记录所读取的元数据。主、从节点间通过共享存储来实现两者获取到的元数据一致性。可以通过NFS等共享存储系统来共享数据。主节点向共享存储写入数据，从节点从共享存储读取数据。

主节点向本地磁盘写入的过程和向共享存储写入的过程是彼此独立的，可以各自并行执行。

这种共享方式对程序没有侵入性。但是共享存储系统可能发生挂载点不可用或者服务异常导致不可读写。

共享存储异常下，可能会出现如下一些情况：主节点不能向共享存储写入元数据；共享存储不可访问，从节点不能读取到元数据内容。

发明内容

鉴于上述情况，本发明提供了一种新的共享存储异常处理。

根据本发明的一个方面，提供一种主从节点之间的共享存储的异常处理的系统，该系统包括主节点、从节点和共享存储装置。其中，所述主节点包括主节点存储装置和主节点监控装置，所述从节点包括从节点存储装置和从节点监控装置。其中，所述主节点把从外部接收的数据分别写入所述主节点存储装置和所述共享存储装置，所述从节点从所述共享存储装置读取数据并存储在所述从节点存储装置，从而在所述主节点和所述从节点之间实现数据共享，其中，数据是以具有原子性的数据单元被顺序写入和读取的，所述从节点按照记录的读取位置来读取数据使得既不遗漏也不重复读取。其中，在所述主节点向所述共享存储装置和所述主节点存储装置写入数据时，当所述共享存储装置异常，所述主节点记录在所述共享存储装置的当前写入位置并标记所述共享存储装置的状态为异常，把待写入的数据继续写入所述主节点存储装置，同时把所述共享存储装置异常通知给所述主节点监控系统，使得所述主节点监控装置开始定时扫描以检测所述共享存储装置是否可用。其中，当所述主节点监控装置检测到所述共享存储装置可用时，所述主节点停止对所述主节点存储装置的写入，并且所述主节点根据所记录的所述当前写入位置来读取所述主节点存储装置中该写入位置之后的数据，并根据所述当前写入位置把读取到的数据复制到所述共享存储装置的对应位置。其中，在所述从节点从所述共享存储装置读取时，如果所述共享存储装置不可读，则所述从节点记录其当前读取位置，同时启动所述从节点监控系统来监视所述共享存储装置是否可读。其中，当所述共享存储装置再次可读时，所述从节点根据所记录的所述当前读取位置来读取所述共享存储装置中的数据，从而读取到该当前读取位置之后的数据并把读取的数据写入所述从节点存储装置中的对应位置。

本发明还提供节点之间共享存储的异常处理的系统。

附图说明

下面将结合附图详细说明本发明的细节。其中

图1是本地磁盘文件偏移量与共享存储文件偏移量不一致情况的示例性图示；

图2是主节点正常写入流程图示；

图3是从节点读取并写入的流程图示；

图4是主节点数据恢复流程；

图5是从节点数据恢复流程。

具体实施方式

本发明通过引入主、从节点间数据共享的异常处理，可以保证节点间不中断服务，无缝地实现数据共享。

根据本发明，提供一种节点之间的共享存储的异常处理的系统，该系统包括主节点、从节点和共享存储装置。主节点把从外部接收的数据写入其本地存储装置和共享存储装置，而从节点从共享存储装置读取数据并存储在其本地存储装置，从而使得这三者存储相同的数据。

主节点本地存储装置、共享存储装置和从节点本地存储装置这三者应该具有数据一致性。由于共享存储的异常，会导致数据不一致。异常处理的目的就是试图恢复其中二者或三者之间的数据的一致性。

数据是按数据单元逐个顺序写入和读取的。这里所说的数据单元例如是字节，或任何具有读写操作原子性的数据单位。这样，每个数据单元的存储位置可用其相对于起始位置的偏移量来表示。例如，在存储装置中存储的第一个数据单元存储在起始位置，其偏移量为0，即存储位置0，存储的第二个数据单元的偏移量为1，即存储位置为1，……，存储的第N个数据单元的偏移量为N-1，即存储位置为N-1（N是正整数）。