[发明专利]一种分析数据记录集合的系统和方法

说明书

技术领域

本发明涉及计算机系统分布式负载均衡技术，并且尤其涉及的分析数据记录集合的系统和方法。

背景技术

在对数据记录集合的分析过程中，例如，关于银行卡的交易的数据记录，由于不同银行卡的交易的数据记录数量之间的差异，往往会造成计算机系统分布式负载均衡困难，导致计算机系统整体性能下降。

通常，数量巨大的数据记录可以通过多个分析单元进行分布式的分析，但是在一些特定的分析情况下，要求每条数据记录的归属主体由同一分析单元进行分析。例如，在银行卡交易分析中要求同一张银行卡的交易必须在同一个分析单元中进行按序连续分析，才能分析出该银行卡的交易行为轨迹。在这种情况下，由于每张银行卡的交易发生的时间是随机的，要求每条数据记录的归属主体由同一分析单元进行分析的前提下，实现多个分析单元的负载均衡成为难点。

又如，当分析单元的数量固定而待分析的数据记录的分布情况发生变化时或者当分析单元的数量发生变化时，计算机系统往往难以适应各个分析单元所产生的负载变化，使得难以关联计算机系统的资源，从而导致计算机系统整体性能下降。同时，为适应数据记录分布情况或者分析单元的数量发生变化，通常需要人工调整每个分析单元的分析范围才能重新达到负载均衡。

本发明的目的在于改善计算机系统的内部性能，通过计算机执行一种系统内部性能改进程序控制计算机系统内部对象，使得能够灵活地分配待处理的数据记录集合，进而达到理想的负载均衡状态，从而提高计算机系统的处理性能。

发明内容

为解决上述问题，本发明提供一种分析数据记录集合的系统，其特征在于，该系统包括：数据接收模块，配置成接收数据记录集合；静态配置模块，配置成将所述数据记录集合分成多个数据块，其中每个数据块包括一条或多条数据记录；动态决策模块，配置成根据处理模块的负载情况，将同一数据块中的数据记录分配给同一分析单元；处理模块，包括多个分析单元，该多个分析单元用于接收并分析来自动态决策模块分配的数据记录。

在所述公开的方案中，所述静态配置模块包括：属性设定单元，配置成为数据记录设定一个或多个属性，其中，所述一个或多个属性根据数据记录中的一个或多个字段被设定。粒度配置单元，配置成从属性设定单元设定的一个或多个属性选择一个或多个特定属性，其中，所述一个或多个特定属性用作数据划分的粒度，数据划分单元，配置成将具有相同的特定属性的属性值的数据记录划分到同一数据块，使得所述数据记录集合中的记录被划分到多个数据块。

在所述公开的方案中，所述动态决策模块包括：识别单元，配置成识别待分析的数据记录所属的数据块，匹配单元，配置成将所述识别的待分析的数据记录所属的数据块与所述多个分析单元中的一个匹配，分配单元，配置成将所述待分析的数据记录分配给与其所属的数据块匹配的分析单元。

在所述公开的方案中，所述匹配单元包括匹配关系存储单元用于存储数据块与分析单元的匹配关系，所述匹配单元进一步配置成根据匹配关系判断待分析的数据记录所属的数据块是否已经与所述多个分析单元中的一个匹配，所述分配单元进一步配置成根据匹配关系分配所述待分析的数据记录。

在所述公开的方案中，所述匹配单元进一步配置成，当判断当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，将该数据块与所述多个分析单元中的一个匹配，并存储该匹配关系。

在所述公开的方案中，所述匹配单元配置成将所述数据块与所述分析单元均匀地进行匹配。

在所述公开的方案中，所述匹配单元配置成，当该当前待分析的数据记录所属的数据块未与所述多个分析单元中的一个匹配时，按序循环选择所述多个分析单元中的一个，并将该选择的分析单元与该数据块匹配。

在所述公开的方案中，所述数据划分单元为每一个数据块设定数据块标识符，其中所述数据块标识符作为添加字段被记录到相应的数据记录中，所述判断单元根据数据块标识符判断待分析的数据记录所属的数据块。

在所述公开的方案中，所述处理模块还包括反馈单元，用于向所述动态决策模块反馈分析单元的状态信息，所述状态信息包括分析单元的数量。所述动态决策模块还包括状态存储单元，状态存储单元配置成存储分析单元数量，所述匹配单元根据分析单元的数量将未进行匹配的数据块与所述多个分析单元进行匹配