[发明专利]用于负载平衡以处理大型数据集的系统、方法和计算机程序产品

说明书

提供用于负载平衡以处理大型数据集的系统、方法和计算机程序产品。所述方法包括：识别区段数目和包括多个交易的交易数据的交易数据集，所述多个交易中的每个交易的交易数据包括交易价值；基于所述多个交易中的每个交易的交易价值确定所述交易数据集的熵；基于所述交易数据集的熵将所述交易数据集分割成所述区段数目，并且平衡区段数目中的每个区段的相应熵；以及将与所述区段数目中的每个区段相关联的处理任务分配到多个处理器中的至少一个处理器，以处理每个相应区段中的每个交易。

相关申请的交叉引用

本申请要求2018年10月11日提交的名称为“System,Method,and ComputerProgram Product for Load Balancing to Process Large Data Sets(用于负载平衡以处理大型数据集的系统、方法和计算机程序产品)”的第16/157,543号美国专利申请的优先权，该申请的全部公开内容通过引用并入本文中。

背景

技术领域

本公开涉及负载平衡处理任务，并且在非限制性实施例或方面中，涉及用于负载平衡以处理大型数据集的系统、方法和计算机程序产品。

背景技术

包括交易数据集在内的大型数据集通常偏斜，使得数据分布不均匀。例如，对于多个交易的交易数据，通常存在与小部分交易相关联的大量账户标识符，例如个人账号(PAN)，以及与大部分交易相关联的少数账户标识符。同样，对于每个交易的交易价值，通常存在大量账户标识符，与之相关联的交易价值相对低于与少量账户标识符相关联的交易价值。

为了处理大型交易数据集，交易可按PAN或按每个PAN的总支出进行分组。这使得每组数据的处理时间不均匀，这是因为，举例而言，与被分配相对较少交易的PAN的交易数据的处理单元相比，被分配与众多交易相关联的PAN的交易数据的处理任务的处理单元将花费更长的时间来处理其各自的任务。例如，相对很少交易的PAN的交易记录可能需要处理几秒或几分钟，而这方面的另一极端是相对更多交易的PAN的交易记录将需要处理数小时或更长时间。这导致诸如存储器和处理单元的计算资源的低效使用。

发明内容

根据非限制性实施例或方面，提供了一种用于负载平衡以处理大型数据集的计算机实施的方法，所述方法包括：用至少一个处理器识别区段数目和包括多个交易的交易数据的交易数据集，所述多个交易中的每个交易的交易数据包括交易价值；用至少一个处理器基于所述多个交易中的每个交易的交易价值确定所述交易数据集的熵；用至少一个处理器基于所述交易数据集的熵将所述交易数据集分割成所述区段数目，并平衡所述区段数目中的每个区段的相应熵；以及用至少一个处理器将与所述区段数目中的每个区段相关联的处理任务分配到多个处理器中的至少一个处理器以处理每个相应区段中的每个交易。

在非限制性实施例中，所述交易数据集包括在数据结构中排序的多个交易价值，所述数据结构存储在计算机系统的存储器中。在非限制性实施例中，所述数据结构包括阵列，并且所述多个交易价值作为浮点值存储在所述阵列中。在非限制性实施例中，所述多个处理器包括至少一个处理器的多个核心，并且每个区段分配到所述至少一个处理器的核心。在非限制性实施例中，平衡所述区段数目中的每个区段的相应熵包括基于与至少一个相邻区段的至少一个熵的比较来调整每个区段的范围，使得每个区段的相应熵在所述至少一个相邻区段的至少一个熵的预定义公差内。