[发明专利]一种跨节点的温数据池预读方法

说明书

本发明涉及一种跨节点的温数据池预读方法，其中，温数据池在第一存储节点使用第一磁盘和第二磁盘，第二存储节点使用第三磁盘、第四磁盘和第五磁盘，第三存储节点使用第六磁盘和第七磁盘，第四存储节点使用第八磁盘；第一组、第二组、第三组和第四组并发预读；文件1到文件16为顺序排列。本发明针对跨节点的存储系统的温数据池进行预读,从而提升跨节点存储系统整体磁盘读写I/O效率。本发明针对温数据池处理能力有限，访问响应时间长的特点对它的SATA磁盘池的读写I/O效率进行优化。

技术领域

本发明涉及数据管理技术，特别涉及一种跨节点的温数据池预读方法

背景技术

随着计算机存储技术的发展和普及，越来越多大型应用采用分布式存储系统保存海量数据资源，由于绝大部分数据保存在磁介质硬盘上，需要频繁对磁盘进行读写I/O操作，因此当并发用户数越来越多的时候，读写I/O就会成为整个系统的性能瓶颈。

温数据是数据使用相对不频繁，数据并不是总有用户访问，其重要性逐渐降低。通常将温数据保存在SATA磁盘组中，但仍能够进行在线访问，由于处理能力有限，访问的响应时间比在线数据访问时间有所增加。

与温数据池相对应的是热数据池：应用系统新产生的数据往往访问频率较高，这些数据从产生开始一直在高频访问，这类数据叫做热数据，这时需要使用高速存储，保证数据的高速访问。热数据池将系统所有节点中的SSD等高速介质组合成在线存储池，保存热数据。

现有的预读方法中，都是对单节点的磁盘进行预读。目前SSD等高速介质价格相对于SATA磁盘价格高昂，只适合将新产生的数据存放在热数据池中，所以绝大多数数据都会保存在由SATA磁盘组合的温数据池里。

发明内容

本发明提供一种跨节点的温数据预读方法，用以解决现有技术中分布式存储系统中温数据池I/O效率需要提高的问题。

本发明一种跨节点的温数据池预读方法，其中，温数据池在第一存储节点使用第一磁盘和第二磁盘，第二存储节点使用第三磁盘、第四磁盘和第五磁盘，第三存储节点使用第六磁盘和第七磁盘，第四存储节点使用第八磁盘；读取16个跨节点文件的过程包括：读取分为4组：第一存储节点为第一组，第二存储节点为第二组，第三存储节点为第三组，第四存储节点为第四组；第一组，从第一存储节点的第一磁盘预读文件5和文件1，第二磁盘预读文件11、文件2和文件12；第二组，从第二存储节点的第三磁盘预读文件3和文件6，第四磁盘预读文件7和文件4，第五磁盘预读文件8；第三组，从第三存储节点的第六磁盘6预读文件13，第七磁盘预读文件9和文件10；第四组，从第四存储节点的第八磁盘8预读文件15、文件14和文件16；第一组、第二组、第三组和第四组并发预读；文件1到文件16为顺序排列。

根据本发明的跨节点的温数据池预读方法的一实施例，其中，第一存储节点的CPU平均使用率为10％，内存资源使用率30％，带宽资源使用率为60％；第二存储节点的CPU平均使用率为20％，内存资源使用率15％，带宽资源使用率为40％；第三存储节点的CPU平均使用率为30％，内存资源使用率30％，带宽资源使用率为40％；第四存储节点的CPU平均使用率为40％，内存资源使用率40％，带宽资源使用率为70％；各个节点权值计算为去掉百分号对数字进行累加。

根据本发明的跨节点的温数据池预读方法的一实施例，其中，4个存储节点将各自的预读文件推送到各自的高速缓存上，元数据服务器从高速缓存上再对预读文件进行组装。

根据本发明的跨节点的温数据池预读方法的一实施例，其中，四组存储节点之间通过RDMA网络进行交互认证，以验证4个存储节点数据总和是否和数据长度相等，如不等，则对相关节点进行重发。

根据本发明的跨节点的温数据池预读方法的一实施例，其中，权值越高，分配磁盘越少。