[发明专利]存储卷级联系统、批量作业处理系统和电子设备

说明书

本公开提供了一种存储卷级联架构、批量作业处理系统和电子设备。该存储卷级联架构包括至少两层存储卷，对于相邻的两层存储卷，与一个上层存储卷对应的作业文件被拆分为分别与多个下层存储卷对应的多个子作业文件；其中，所述至少两层存储卷中各底层存储卷可被第二服务器端的多个节点同时挂载的数量是第一可挂载数量，所述第一可挂载数量与预设挂载数量阈值和备份倍数相关，所述至少两层存储卷中各存储卷的存储卷标识与访问路径之间存在第一映射关系，使得所述第二服务器端的超过所述第一可挂载数量的节点可基于所述至少两层存储卷中顶层存储卷标识和所述第一映射关系，对与所述顶层存储卷对应的作业文件进行操作。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种存储卷级联架构、批量作业处理系统和电子设备。

背景技术

在银行业务系统中，随着业务数据量的增长，越来越多的业务集群已经开始了从主机到平台的迁移。原在主机系统完成的批量作业，在下平台后多采用分布式批量系统实现。应用间往往以文件的形式，采用点对点传输的方式进行文件交换。

在实现本公开构思的过程中，发明人发现相关的作业处理方法至少存在如下问题，随着业务量的增长以及应用内的层级、集群划分越来越精细等原因，导致需要针对同一个作业文件进行处理的节点集群的规模越来越大，给分布式存储系统(如GlusterFS)带来了存储卷连接池压力过大的问题。

发明内容

有鉴于此，本公开提供了一种可以有效降低存储卷连接池压力的存储卷级联架构、批量作业处理系统和电子设备。

本公开的一个方面提供了一种存储卷级联架构，包括：至少两层存储卷，对于相邻的两层存储卷，与一个上层存储卷对应的作业文件被拆分为分别与多个下层存储卷对应的多个子作业文件；其中，至少两层存储卷中各底层存储卷可被第二服务器端的多个节点同时挂载的数量是第一可挂载数量，第一可挂载数量与预设挂载数量阈值和备份倍数相关，至少两层存储卷中各存储卷的存储卷标识与访问路径之间存在第一映射关系，使得第二服务器端的超过第一可挂载数量的节点可基于至少两层存储卷中顶层存储卷标识和第一映射关系，对与顶层存储卷对应的作业文件进行操作。

本公开实施例提供的存储卷级联架构，对存储卷进行分层设置，将与一个上层存储卷对应的作业文件被拆分为分别与多个下层存储卷对应的多个子作业文件，使得更多的节点可以对该作业文件进行处理，且不会造成存储卷连接池压力过大。

本公开的一个方面提供了一种作业处理系统，包括：接入配置模块、公共组件和数据存储模块。其中，接入配置模块用于响应于来自第二服务器端的存储卷挂载请求，基于存储卷的挂载请求的数量和如上所述的存储卷级联架构确定接入策略；公共组件用于响应于来自第二服务器端的存储卷挂载请求，基于第一映射关系确定访问路径，并且建立与第二服务器端之间的长连接，以实现存储卷挂载；以及数据存储模块用于提供存储空间，以存储作业文件、存储卷标识和访问路径之间的第一映射关系。

本公开的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，存储装置用于存储可执行指令，可执行指令在被处理器执行时，实现如上所述的批量作业处理系统的模块的功能。

本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，实现如上所述的批量作业处理系统的模块的功能。

本公开的另一方面提供了一种计算机程序，计算机程序包括计算机可执行指令，指令在被执行时用于实现如上所述的批量作业处理系统的模块的功能。

附图说明

通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：

图1示意性示出了根据本公开实施例的存储卷级联架构、批量作业处理系统和电子设备的应用场景；