[发明专利]读写请求处理方法、装置、电子设备及存储介质

说明书

本公开关于一种读写请求处理方法、装置、电子设备及存储介质。读写请求处理方法应用于分布式文件系统的主节点，包括：接收到客户端发送的待处理读写请求，从分布式文件系统的多个从节点中确定与待处理读写请求对应的至少两个初始从节点；获取至少两个初始从节点各自对应的第一负载信息；当第一负载信息均大于第一负载阈值时，获取至少两个初始从节点各自对应的负载等级信息；根据第一负载信息和负载等级信息，从至少两个初始从节点中筛选出目标从节点；将目标从节点的标识信息发送至客户端。根据本公开提供的技术方案，能够及时对从节点进行过载保护，有效适用于实时性要求较高的负载均衡场景。

技术领域

本公开涉及大数据存储技术领域，尤其涉及一种读写请求处理方法、装置、电子设备及存储介质。

背景技术

目前越来越多的业务需要大数据存储和大数据处理的支撑，HDFS(HadoopDistributed File System,Hadoop，分布式文件系统)作为分布式文件存储系统，有效地解决了大规模数据存储和处理的问题。但伴随着互联网的不断发展，每天读写的数据量也在成倍数地上涨，使得HDFS中的主节点和从节点的压力处于波动状态，存在瞬时读写请求过多导致部分节点过载的场景。相关技术中采用的过载保护策略一般比较滞后，不适用于实时性要求较高的应用场景。

发明内容

本公开提供一种读写请求处理方法、装置、电子设备及存储介质，以至少解决相关技术中如何应对实时性要求较高的过载保护问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种读写请求处理方法，应用于分布式文件系统的主节点，包括：

接收到客户端发送的待处理读写请求，从所述分布式文件系统的多个从节点中确定与所述待处理读写请求对应的至少两个初始从节点；

获取所述至少两个初始从节点各自对应的第一负载信息；

当所述第一负载信息均大于第一负载阈值时，获取所述至少两个初始从节点各自对应的负载等级信息；

根据所述第一负载信息和所述负载等级信息，从所述至少两个初始从节点中筛选出目标从节点；

将所述目标从节点的标识信息发送至所述客户端。

在一种可能的实现方式中，所述当所述第一负载信息均大于第一负载阈值时，获取所述至少两个初始从节点各自对应的负载等级信息步骤包括：

获取每个初始从节点对应的第一读写请求；

获取所述待处理读写请求的目标请求等级信息；

从所述第一读写请求中筛选出与所述目标请求等级信息匹配的第二读写请求；

根据每个初始从节点对应的第一读写请求的数量和对应的第二读写请求的数量，获取每个初始从节点对应的负载等级信息，所述负载等级信息表征所述对应的第二读写请求在所述对应的第一读写请求中的请求占比信息。

在一种可能的实现方式中，所述获取所述待处理读写请求的目标请求等级信息步骤包括：

获取所述待处理读写请求的读写类型和业务类型；

根据所述读写类型确定第一优先级；

根据所述业务类型确定第二优先级；

根据所述第一优先级和所述第二优先级，确定所述待处理读写请求的目标请求等级信息。

在一种可能的实现方式中，所述读写请求处理方法还包括：

获取所述主节点对应的第二负载信息，所述第二负载信息包括第一资源池的负载信息和第二资源池的负载信息；

根据所述第一资源池的负载信息和所述第二资源池的负载信息，调整所述第一资源池的资源和所述第二资源池的资源。