[发明专利]网络虚拟磁盘客户端高效缓存及延迟写入方法

说明书

技术领域

本发明涉及数据存储领域，尤其是一种对网络虚拟磁盘客户端读写的方法。

背景技术

网络虚拟磁盘系统的本质就是，利用磁盘驱动技术，在操作系统中虚拟“真实”的磁盘，拦截磁盘的所有读写请求，通过网络远程重定向到后台服务器存储，实现存储的虚拟化。虚拟磁盘驱动在客户端操作系统中模拟的是块设备，所有的访问请求其实都象是针对物理磁盘一样的扇区读写请求，在这个层面上看，只有读、写两种操作，只是每次请求的扇区编号、以及扇区个数不同而已。注意操作系统对磁盘的读写，总是以扇区为最小单位的。

在网络虚拟磁盘系统的实现中，最难以克服的是效率问题，我们知道，一般U盘的读写速度在5～15MB/S，PC机硬盘的读写速度一般在50～100MB/S，服务器SCSI磁盘可以达到300～500MB/S，网络虚拟磁盘因为需要通过网络远程访问，网络的效率和延迟就成了制约整个系统的最大的瓶颈，例如，百兆网环境下，网络传输的理论最高值为12.5MB/S，实际使用中，一般最高只能达到8-10MB/S或者更低，在这样的网络条件下，网络虚拟磁盘的效率将非常低下，比普通U盘都慢许多，基本不可用。

发明内容

本发明的目的是针对现有技术存在的不足，提供一种网络虚拟磁盘客户端高效缓存及延迟写入方法，能够针对网络带宽不足或不稳定网络，可以实现具有良好的性能、稳定性以及适应性的网络虚拟磁盘。

为实现上述发明目的，本发明网络虚拟磁盘客户端高效缓存及延迟写入方法可采用如下技术方案：

一种网络虚拟磁盘客户端高效缓存及延迟写入方法，包括：

针对读请求，当需要读取到某个磁盘扇区时，总是向后顺序预读取后续的若干扇区，并将所有读取的磁盘扇区中的数据都存入本地缓存中，当再次读扇区时，现在本地缓存中查找，如果找到了，就直接返回，不再通过网络传输；

针对写请求，把要写的扇区数据写入本地缓存后就返回，同时，定期监视扫描本地缓存，将缓存中的数据变化部分提取出来，然后打包、压缩、传输到服务器端，由服务器的守护进程将数据真正写入到磁盘的镜像文件中。

与现有技术相比，本发明中网络虚拟磁盘客户端高效缓存及延迟写入方法中针对读请求预读缓存的扇区命中率相当高，虽然稍稍增大了部分传输数据量，但是有效的减少了传输的频率，规避了网络延时的不利因素；而针对写请求，把要写的扇区数据写入本地缓存后就返回，并不真正发送到服务端从而产生延迟合并作用，当数据积累到一定的量或等待指定的时间后再真正写入磁盘从而提高写入性能，规避网络延时的不利因素，可以实现具有良好的性能、稳定性以及适应性的网络虚拟磁盘。

附图说明

图1为本发明网络虚拟磁盘客户端高效缓存及延迟写入方法的应用示意图。

具体实施方式

请参阅图1所示，本发明公开一种网络虚拟磁盘客户端高效缓存及延迟写入方法，包括：

针对读请求，当需要读取到某个磁盘扇区时，总是向后顺序预读取后续的若干扇区(一般定为64K字节，假设扇区大小为4k，就是16个扇区)，并将所有读取的磁盘扇区中的数据都存入本地缓存中，当再次读扇区时，现在本地缓存中查找，如果找到了，就直接返回，不再通过网络传输；根据实际测试，预读缓存的扇区命中率相当高，虽然稍稍增大了部分传输数据量，但是有效的减少了传输的频率，规避了网络延时的不利因素。

针对写请求，把要写的扇区数据写入本地缓存后就返回，同时，定期监视扫描本地缓存，将缓存中的数据变化部分提取出来，然后打包、压缩、传输到服务器端，由服务器的守护进程将数据真正写入到磁盘的镜像文件中。

在写请求中，将虚拟磁盘需要的大型地址空间进行分段管理，如，以64M字节为一个管理单位，在磁盘上建立物理文件，并利用操作系统的文件映射API将物理文件映射到内存，以提供快速的访问；在缓存单元的结构上进行了扩展，增加唯一并且严格递增的写入标记戳记录，以及扇区状态标识位等记录结构。针对写请求中，数据的处理方面，采用QuickLZ算法模块，对于磁盘块读写这种数据密度十分不均匀的场景做了很好的适配和优化。

在本发明中，提出的高效的缓存技术和优化的延迟写入算法，针对网络带宽不足或不稳定网络，可以实现具有良好的性能、稳定性以及适应性的网络虚拟磁盘产品。