[发明专利]一种负载均衡的方法、装置、介质及电子设备

说明书

本申请实施例提供一种负载均衡的方法、装置、介质及电子设备，所述方法包括：监控多个项目中各项目产生的待分析数据；若确定与第一项目对应的待分析数据的量在与所述多个项目对应的待分析数据的总量中的占比大于设置阈值，则获取为所述第一项目分配的初始项目编号；将多个标记符号分别与所述初始项目编号进行拼接，得到多个计算资源分配符号，其中，一个标记符号与一个计算资源分配符号对应；根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源。通过本申请的一些实施例能够确保数据尽可能平均的分配到不同的算子（即计算资源）中，减少了由于数据倾斜导致的脚本执行缓慢的情况。

技术领域

本申请涉及负载均衡领域，具体而言本申请实施例涉及一种负载均衡的方法、装置、介质及电子设备。

背景技术

负载均衡（Load Balance），指由多台服务器以对称的方式组成一个服务集群，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助。通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求。负载均衡能够平均分配客户请求到服务器阵列，借此提供快速获取重要数据，解决大量并发访问服务问题，这种集群技术可以用最少的投资获得接近于大型主机的性能。

目前负载均衡算法主要分为两类：静态负载均衡算法：以固定的概率分配任务，不考虑服务器的状态信息，如：轮询法、加权轮询法、随机法、加权随机法等。动态负载均衡算法：以服务器的实时负载状态信息来决定任务的分配，如：最小连接法、加权最小连接数法等。

针对相关领域多个项目的负载均衡技术存在均衡算法不理想导致对多个项目的处理进度整体较低，不能满足市场需求。

发明内容

本申请实施例的目的在于提供一种负载均衡的方法、装置、介质及电子设备，通过本申请的一些实施例能够确保数据尽可能平均的分配到不同的算子（即计算资源）中，减少了由于数据倾斜导致的脚本执行缓慢的情况。

第一方面，本申请实施例提供一种负载均衡的方法，所述方法包括：监控多个项目中各项目产生的待分析数据；若确定与第一项目对应的待分析数据的量在与所述多个项目对应的待分析数据的总量中的占比大于设置阈值，则获取为所述第一项目分配的初始项目编号；将多个标记符号分别与所述初始项目编号进行拼接，得到多个计算资源分配符号，其中，一个标记符号与一个计算资源分配符号对应；根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源。

本申请的一些实施例通过将为每个项目对应的初始项目编号编码为多个，之后再依据该多个计算资源分配符号为待处理数据分配计算资源，可以有效改善相关技术针对相同的主键（即一个初始项目编号）只能分配唯一计算资源的技术缺陷，进而可以为产生待分析数据较多的项目分配多个计算资源进行数据分析处理。

在一些实施例中，所述根据所述多个计算资源分配符号为所述第一项目的待分析数据分配服务集群中的计算资源，包括：从所述服务集群中选取与所述计算资源分配符号的符号总数量相同数目的服务资源；将所述第一项目的待分析数据分发至各个服务资源上进行并行分析处理。

本申请的一些实施例根据对主键编码生成的新编码的数目为待分析的数据分配多个计算资源，进而可有效改善对这类数据的处理速度进而提升与所有项目对应的数据处理进度。

在一些实施例中，所述将多个标记符号与所述初始项目编号分别进行拼接，得到多个计算资源分配符号，包括：在所述初始项目编号的前方拼接1至9中的随机数。

本申请的一些实施例通过为初始项目编号增加前缀的方式得到多个计算资源分配符号。

在一些实施例中，所述将多个标记符号与所述初始项目编号分别进行拼接，得到多个计算资源分配符号，包括：在所述初始项目编号的后方拼接1至9中的随机数。

本申请的一些实施例通过为初始项目编号增加后缀的方式得到多个计算资源分配符号。