[发明专利]请求处理方法、装置、电子设备及存储介质

说明书

本公开关于一种请求处理方法、装置、电子设备及存储介质，所述方法包括：确定具有不同队列优先级的多个请求等待队列；其中每个请求等待队列的队列优先级与所述请求等待队列中请求的优先级匹配，高优先级请求的等待响应时长小于低优先级请求的等待响应时长；监听每个请求的剩余响应时长；所述剩余响应时长为所述请求的等待响应时长与所述请求进入请求等待队列的时长的差；基于所述每个请求的所述剩余响应时长，确定待响应请求；将所述待响应请求缓存到请求响应队列中；对所述请求响应队列中的请求进行处理。本公开能够解决在对不同优先级的请求进行处理时，通过资源物理隔离造成的节点资源浪费的问题。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种请求处理方法、装置、电子设备及存储介质。

背景技术

在一个由几千至几万节点组成的公共集群上，同时运行的大数据分析应用数以千计，具体到每个节点，其上的Shuffle Service(数据混洗流程服务)可能同时收到来自数十个应用的Shuffle读请求。与此同时，节点上还通常部署着存储了PB(Peta Byte，千兆兆字节)级数据的分布式文件系统，这导致在公共集群环境下，每个节点上由多应用共享的磁盘I/O(Input/Output，输入/输出)资源是紧张甚至稀缺资源。

当前的Shuffle Service基于简单的先来先服务(First Come First Serve，FCFS)机制向外提供Shuffle数据，然而不同的Shuffle读请求来自于不同的应用，应用本身是有不同的优先级/服务等级的，而Shuffle Service无法感知优先级，会出现后到的高优先级的Shuffle读请求被大量先到的低优先级Shuffle读阻塞的现象。

发明内容

本公开提供一种请求处理方法、装置、电子设备及存储介质，以至少解决相关技术中在对不同优先级的请求进行处理时，通过资源物理隔离造成的节点资源浪费的问题。本公开的技术方案如下：

根据本公开实施例的第一方面，提供一种请求处理方法，包括：

确定具有不同队列优先级的多个请求等待队列；其中每个请求等待队列的队列优先级与所述请求等待队列中请求的优先级匹配，高优先级请求的等待响应时长小于低优先级请求的等待响应时长；

监听每个请求的剩余响应时长；所述剩余响应时长为所述请求的等待响应时长与所述请求进入请求等待队列的时长的差；

基于所述每个请求的所述剩余响应时长，确定待响应请求；

将所述待响应请求缓存到请求响应队列中；

对所述请求响应队列中的请求进行处理。

在一示例性实施例中，所述方法还包括：

接收待处理请求，确定所述待处理请求的优先级；

确定与所述待处理请求对应的第一请求等待队列；所述第一请求等待队列的队列优先级与所述待处理请求的优先级匹配；

将所述待处理请求缓存到所述第一请求等待队列中。

在一示例性实施例中，每个请求携带有请求来源标识和请求的目标文件标识；

所述基于所述每个请求的所述剩余响应时长，确定待响应请求包括：

确定所述剩余响应时长为零的请求为目标请求、以及、所述目标请求所在的第二请求等待队列；

在所述第二请求等待队列中查找进入所述第二请求等待队列的时间在所述目标请求之后的至少一个关联请求；其中，所述关联请求与所述目标请求携带的请求来源标识和请求的目标文件标识相同；

将所述目标请求和所述至少一个关联请求确定为所述待响应请求。

在一示例性实施例中，每个请求还携带有目标文件偏移量；