[发明专利]一种磁盘数据读写方法和系统

说明书

技术领域

本发明涉及计算机存存储技术领域，特别是涉及一种磁盘数据读写方法和系统。

背景技术

随着互联网时代的到来，全世界各行各业每天都产生了大量的数据，包括个人的数据也产生了爆炸性的增长，为了收集管理这些数据，一些大的互联网企业或者其他产生大量数据的公司都建立了公共的或者私有的数据中心，传统的存储模式已经不能满足数据爆炸性的增长，并且每个企业建立一个数据中心将产生极大的资源浪费，云存储技术在这个背景下应运而生。

云存储是在云计算概念上延伸和发展出来的一个新的概念，是一种新兴的网络存储技术，是指通过集群应用、网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。目前比较主流的存储供应商都在该领域投入了巨大的人力物力。想尽各种方法使手中的硬件资源发挥最大的性能。

但是，由于磁盘IOPS(每秒读写操作的次数)物理指标的限制，每块磁盘的每秒允许的最大输入输出IO次数为100次左右，如此，无法发挥出硬件的顺序且潜力，将大部分时间浪费到磁盘寻道上，导致磁盘的IO吞吐量不高，客户端的吞吐量体验差的问题。

发明内容

有鉴于此，本发明实施例提供一种磁盘数据读写方法和系统，以解决现有技术中由于磁盘IOPS物理指标的限制，每块磁盘的每秒允许的最大输入输出IO次数为100次左右，如此，无法发挥出硬件的顺序且潜力，将大部分时间浪费到磁盘寻道上，导致磁盘的IO吞吐量不高，客户端的吞吐量体验差的问题。

为实现上述目的，本发明实施例提供如下技术方案：

一种磁盘数据读写方法，包括：

接收读写请求，根据所述读写请求确定需要读写的磁盘数据，对所述磁盘数据内关键字根据预定哈希算法进行计算，得到哈希值；

根据所述哈希值在跳表中寻找所述磁盘数据在缓存中的存储节点；

若所述读写请求为读请求，则在所述缓存中的所述存储节点读取所述磁盘数据；

若所述读写请求为写请求，则将所述磁盘数据存储在所述缓存的所述存储节点内，当所述缓存内未写入磁盘的缓存数据的大小大于预定阈值时，将所述缓存内所有未写入磁盘的缓存数据写入磁盘中。

其中，所述跳表的空间复杂度为O(n)，高度为O(logn)，增删插的复杂度为O(logn)，其中，n为被处理数据量。

其中，若所述读写请求为写请求，所述根据所述哈希值在跳表中寻找所述磁盘数据在缓存中的存储节点后还包括：

判断所述存储节点是否已经存在缓存数据；

若是，则将所述磁盘数据添加至处理队列中；

依次将所述处理队列中的磁盘数据存储在所述缓存的所述存储节点内。

其中，所述依次将所述处理队列中的磁盘数据存储在所述缓存的所述存储节点内前还包括：

向客户端发送存储请求；

判断是否接收到所述客户端返回的确认写入信息；

若接收到，则依次将所述处理队列中的磁盘数据存储在所述缓存的所述存储节点内。

其中，若所述读写请求为写请求，所述根据所述哈希值在跳表中寻找所述磁盘数据在缓存中的存储节点后还包括：

确定所述磁盘数据的安全等级；

若所述磁盘数据的安全等级为高，则将所述磁盘数据直接写入所述磁盘中；

若所述磁盘数据的安全等级不为高，则将所述磁盘数据存储在所述缓存的所述存储节点内。

其中，所述磁盘数据读写方法还包括：

每隔预定时间间隔判断所述缓存的大小是否大于预定阈值；

若大于，则对所述缓存进行扫描，将所述缓存中超过预定时间未使用的存储节点内的缓存数据进行清除。

其中，所述磁盘数据读写方法还包括：

对所述磁盘数据的大小、所述缓存中对象的读写次数、平均读写频率和寻找所述存储节点所用的时间进行统计。

一种磁盘数据读写系统，包括：计算模块、查询模块、读取模块和写入模块；其中，

所述计算模块，用于接收读写请求，根据所述读写请求确定需要读写的磁盘数据，对所述磁盘数据内关键字根据预定哈希算法进行计算，得到哈希值；

所述查询模块，用于根据所述哈希值在跳表中寻找所述磁盘数据在缓存中的存储节点；

所述读取模块，用于当接收的读写请求为读请求时，在所述缓存中的所述存储节点读取所述磁盘数据；