[发明专利]一种宽表数据的生成方法、更新方法和相关装置

说明书

本发明公开了一种宽表数据的生成方法、更新方法和相关装置，涉及计算机技术领域。该方法的一具体实施方式包括：根据维度非动态更新的数据表得到源表，根据维度动态更新的数据表得到维度数据表，按照配置的源表与汇总表之间的第一对应关系，根据源表的数据生成对应的汇总表，按照配置的汇总表、维度数据表的维度数据以及宽表之间的第二对应关系，根据汇总表和维度数据生成对应的宽表数据。该实施方式在更新已生成的宽表数据时，无需修改数据加工脚本且无需针对所有的主题表数据进行计算，克服任务重、成本高、风险大的缺陷，减少重复操作，大大减少了需重复计算的数据量，并且可以缩短整体计算时长，减少对服务器资源的浪费。

技术领域

本发明涉及计算机技术领域，尤其涉及一种宽表数据的生成方法、更新方法和相关装置。

背景技术

现今基于大数据平台数据加工，按照某些维度生成宽表数据进行归档。由于某些维度数据的变更，造成需要对历史归档数据的更新。现在常用的方式是修改数据加工脚本(即宽表数据生成脚本)，比如修改不同的统计时间、分区等来对历史数据更新。修改数据加工脚本重跑数据，任务重、成本高、风险大，特别是对于变更频繁的统计维度数据，每一次数据变更都需要重复之前的操作。重跑历史数据追溯可能是几年前，重跑历史数据任务执行时间长，每修改一次数据加工脚本重启任务执行。每一次重跑数据，都需要针对所有的主题表(即用来生成宽表的数据表)数据进行计算，而各主题表是数据量非常的庞大，频繁地重跑历史数据，浪费服务器资源。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有的宽表数据生成和更新方案使得在某些维度数据的变更时，需要修改数据加工脚本来更新已生成的宽表数据，任务重、成本高、风险大，且需要针对所有的主题表数据进行计算，重复操作过多，重复计算的数据量庞大，整体计算时间长，且浪费服务器资源。

发明内容

有鉴于此，本发明实施例提供一种宽表数据的生成方法、更新方法和相关装置，在更新已生成的宽表数据时，无需修改数据加工脚本且无需针对所有的主题表数据进行计算，克服任务重、成本高、风险大的缺陷，减少重复操作，大大减少了需重复计算的数据量，并且可以缩短整体计算时长，减少对服务器资源的浪费。

为实现上述目的，根据本发明实施例的一个方面，提供了一种宽表数据的生成方法。

一种宽表数据的生成方法，包括：根据各数据表中维度非动态更新的数据表得到源表，根据所述各数据表中维度动态更新的数据表得到维度数据表；按照配置的源表与汇总表之间的第一对应关系，根据所述源表的数据生成对应的所述汇总表；按照配置的汇总表、维度数据表的维度数据以及宽表之间的第二对应关系，根据所述汇总表和所述维度数据表的维度数据生成对应的宽表数据。

可选地，还包括预先配置所述第一对应关系和所述第二对应关系，其中：配置所述第一对应关系包括：配置汇总表以及生成该汇总表所需的各源表、所述各源表需抽取的字段、维度数据主键；配置所述第二对应关系包括：配置宽表以及生成该宽表所需的各汇总表、所述各汇总表需抽取的字段、所述各汇总表对应的所述维度数据主键。

可选地，所述源表的数据动态增加，所述汇总表包括一个或多个分区表；所述按照配置的源表与汇总表之间的第一对应关系，根据所述源表的数据生成对应的所述汇总表，包括：按照配置的所述各源表需抽取的字段，周期性地从所述各源表的新增数据中抽取数据，其中每一周期根据从所述新增数据中抽取的数据计算生成所述汇总表的一个分区表。

可选地，配置所述第二对应关系还包括配置所述各汇总表的动态分区信息；所述按照配置的汇总表、维度数据表的维度数据以及宽表之间的第二对应关系，根据所述汇总表和所述维度数据表的维度数据生成对应的宽表数据，包括：根据配置的所述动态分区信息，确定所述各汇总表需要使用的分区表；按照配置的所述各汇总表需抽取的字段，从所述各汇总表需要使用的分区表中抽取数据，按照所述维度数据表中的维度数据，对从各分区表中抽取的数据进行汇总，以生成对应的宽表数据。