[发明专利]一种账户余额数据的并行处理方法和系统

摘要

本发明公开了一种账户余额数据的并行处理方法，该方法包括一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据，生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数；其中，所述第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括余额值、交易日期和当天交易序号；一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录，根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录；其中，第一输出参数相同的余额记录由同一个Reduce节点读取。本发明能够快速获取大数据量下的帐户日均余额的统计结果。本发明还公开了一种账户余额数据的并行处理系统。

主权项

一种账户余额数据的并行处理方法，该方法包括：一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据，生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数；其中，所述第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括：余额值、交易日期和当天交易序号；一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录，根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录；其中，第一输出参数相同的余额记录由同一个Reduce节点读取；在所述执行第一任务的Reduce节点根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录后，还包括：一个或多个执行第二任务的Map节点读取不同账户的日均余额值记录，生成所读取的日均余额值记录的第一输出参数和第二输出参数；其中，所述日均余额值记录的第一输出参数设定为所述日均余额值所在的区间，所述日均余额值记录的第二输出参数设定为1；一个或多个执行第二任务的Reduce节点读取所述执行第二任务的Map节点处理完毕的不同日均余额值记录，根据所述日均余额值记录的第一输出参数和第二输出参数统计各日均余额值区间的账户数，包括：按照所述第一输出参数中的日均余额值区间，遍历同一日均余额值区间的各条日均余额值记录，将每一条日均余额值记录的第二输出参数进行累加，获得该日均余额值区间的账户数；其中，第一输出参数相同的日均余额值记录由同一个Reduce节点读取。