[发明专利]一种多磁盘负载均衡异步读写调度方法及装置

说明书

多磁盘负载均衡异步读写调度方法及装置，对HDFS进行配置，使HDFS系统的数据节点将磁盘信息回报给名字节点，并在名字节点启动元数据查询服务进程；获取本地所有的磁盘信息，并根据磁盘信息中的磁盘类型进行磁盘编号；对磁盘各自创建独立的读写工作线程，使磁盘等待上层发送读写任务；元数据查询进程接收上层使用者要读取的HDFS数据请求，通过名字节点的元数据查询服务进程获取要读取的HDFS数据的磁盘编号；当向读写工作线程发送读写任务时一并发送磁盘编号，读写工作线程接到读写任务时根据磁盘信息异步处理各自的读写任务，完成后通知给上层使用者。减少高并发下多个线程争抢及多个磁盘争抢带来的性能开销，提高数据读写效率。

技术领域

本发明实施例涉及数据库技术领域，特别是涉及一种多磁盘负载均衡异步读写调度方法及装置。

背景技术

HDFS指分布式文件系统，HDFS通常是被设计成适合运行在通用硬件上的分布式文件系。HDFS是一个高度容错性的系统，适合部署在廉价的机器上，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS是一个主从结构，一个HDFS集群是由一个名字节点，名字节点是一个管理文件命名空间和调节客户端访问文件的主服务器，还有一些数据节点，通常是一个节点一个机器，数据节点来管理对应节点的存储。HDFS对外开放文件命名空间并允许用户数据以文件形式存储。

目前，在HDFS系统下，数据节点将实际数据放置到多个磁盘，包含普通的机械磁盘和SSD固态硬盘，数据库在执行过程中也需要将临时数据保存在数据节点的这些磁盘，大部分数据库分别直接通过HDFS的接口读写HDFS保存在本地的数据，数据库还通过本地文件系统的接口读写本地的临时文件，导致并发多个请求下对多个不同类型磁盘的读写是同步的，而且是不同类型磁盘的读写相互混在一起，从而导致在高并发下多个线程争抢以及多个磁盘争抢带来的性能开销。现阶段在HDFS系统下不存在对多个磁盘进行负载均衡的异步读写技术方案。

发明内容

为此，本发明实施例提供一种多磁盘负载均衡异步读写调度方法及装置，对磁盘进行磁盘编号，能够通过HDFS获取到数据节点的磁盘类型和磁盘编号，使数据读取和本地真实的磁盘类型和磁盘编号正确对应，通过不同的读写工作线程分别异步处理不同的磁盘的读写请求。

为了实现上述目的，本发明的实施方式提供如下技术方案：一种多磁盘负载均衡异步读写调度方法，包括：

对HDFS进行配置，使HDFS系统的数据节点将磁盘信息回报给名字节点，并在名字节点启动元数据查询服务进程，所述磁盘信息包括磁盘设备号和磁盘类型；

当数据库启动时通过本地操作系统的接口获取本地所有的磁盘信息，并根据所述磁盘信息中的磁盘类型进行磁盘编号；

对多个所述磁盘各自创建独立的读写工作线程，使磁盘等待上层发送读写任务；

当数据库执行SQL时，所述元数据查询进程接收上层使用者要读取的HDFS数据请求，通过所述名字节点的元数据查询服务进程获取要读取的HDFS数据的磁盘编号，当向所述读写工作线程发送读写任务时一并发送磁盘编号，所述读写工作线程接到读写任务时根据所述磁盘信息异步处理各自的读写任务，完成后通知给上层使用者。

作为多磁盘负载均衡异步读写调度方法的优选方案，所述磁盘类型包括机械磁盘和固态硬盘，所述元数据查询服务进程根据磁盘类型的不同对磁盘编号的映射进行维护。

作为多磁盘负载均衡异步读写调度方法的优选方案，当获取所述磁盘信息失败时，将磁盘的数量设置为1，磁盘类型设置为固态硬盘；

当读取的HDFS数据请求是通过网络远端设备进行发送时，将所述磁盘类型设置为网络。

作为多磁盘负载均衡异步读写调度方法的优选方案，对于不同的磁盘类型分配不同数量的读写工作线程。