[发明专利]一种账户余额数据的并行处理方法和系统

说明书

技术领域

本发明涉及大数据处理技术领域，尤其涉及的是一种大数据量下的帐户余额数据的并行处理方法和系统。

背景技术

数据是企业生产、经营、战略等几乎所有经营活动所依赖的、不可或缺的信息。数据就犹如企业经营者的眼睛一样，通过数据可以反映出经营的问题，就犹如舵手依赖导航一样。随着人类社会全面进入信息时代，数据更是成为与水、石油同等重要的战略资源。目前企业面临着数据量的大规模增长。例如，IDC最近的报告预测称，到2020年，全球数据量将扩大50倍。目前，大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。此外，各种意想不到的来源都能产生数据。

传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。相较传统的业务数据，大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。由于大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。

目前，企业面临的挑战是从各种形式的复杂数据中挖掘价值。

发明内容

本发明所要解决的技术问题是提供一种账户余额数据的并行处理方法和系统，快速获取大数据量下的帐户日均余额的统计结果。

为了解决上述技术问题，本发明提供了一种账户余额数据的并行处理方法，该方法包括：

一个或多个执行第一任务的Map节点读取账户余额明细数据的不同分片数据，生成所读取的分片数据中每一条余额记录的第一输出参数和第二输出参数；其中，所述第一输出参数至少包括账户ID，所述第二输出参数设定为账户状态信息，所述账户状态信息至少包括：余额值、交易日期和当天交易序号；

一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录，根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录；其中，第一输出参数相同的余额记录由同一个Reduce节点读取。

进一步地，该方法还包括下述特点：

所述根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录，包括：

按照所述第一输出参数中的账户ID，遍历同一账户的各条余额记录，根据所述余额记录的第二输出参数确定该账户在查询起止时间范围内的每一天的余额值，将每一天的余额值在所述查询起止时间范围内取平均得到该账户的日均余额值，生成该账户的日均余额值记录。

进一步地，该方法还包括下述特点：

在所述执行第一任务的Reduce节点根据所述余额记录的第一输出参数和第二输出参数分别生成各账户的日均余额值记录后，还包括：

一个或多个执行第二任务的Map节点读取不同账户的日均余额值记录，生成所读取的日均余额值记录的第一输出参数和第二输出参数；其中，所述日均余额值记录的第一输出参数设定为所述日均余额值所在的区间，所述日均余额值记录的第二输出参数设定为1；

一个或多个执行第二任务的Reduce节点读取所述执行第二任务的Map节点处理完毕的不同日均余额值记录，根据所述日均余额值记录的第一输出参数和第二输出参数统计各日均余额值区间的账户数，包括：按照所述第一输出参数中的日均余额值区间，遍历同一日均余额值区间的各条日均余额值记录，将每一条日均余额值记录的第二输出参数进行累加，获得该日均余额值区间的账户数；其中，第一输出参数相同的日均余额值记录由同一个Reduce节点读取。

进一步地，该方法还包括下述特点：

根据所述余额记录的第二输出参数确定该账户在查询起止时间范围内的每一天的余额值，包括：

从查询起始时间的当日至查询终止时间的当日，判断每一天是否存在余额记录，如存在，将当日交易序号最大的余额记录的余额值作为当日的最终余额值，如不存在，追溯早于当日且具有余额记录的最近日期，将所述最近日期那一天的交易序号最大的余额记录的余额值作为当日的最终余额值。

进一步地，该方法还包括下述特点：

在一个或多个执行第一任务的Reduce节点读取所述执行第一任务的Map节点处理完毕的不同余额记录之前，还包括：

计算每一条余额记录的第一参数的哈希值，建立第一参数的哈希值与所述执行第一任务的Reduce节点的映射关系；其中，所述映射关系用于供所述执行第一任务的Reduce节点根据所述映射关系读取对应的余额记录。

进一步地，该方法还包括下述特点：