[发明专利]中间表更新方法及装置

说明书

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及中间表更新方法及装置。

背景技术

随着计算机技术与移动互联网技术的蓬勃发展，各种数据呈爆炸式增长。一些设备每天需要处理的数据量可以达到T(10的12次方)级别，甚至P级别(10的15次方)。在现有的数据处理模式中，原始数据作为基础数据，通常均会被存储在基础表中。但是，在后续基于基础数据执行相关业务处理的过程中，往往需要先对基础数据进行聚合等处理操作，以提取出基础数据中所隐含的为后续业务处理所需的数据，进而再处理产生业务数据。一般情况下，提取基础数据或中间数据，再产生一项业务数据的过程由一个业务数据处理任务实现。

随着业务数据需求的增多，业务数据处理任务也越来越多，如果所有的业务数据处理任务都以基础表作为数据源，从其中所存储的基础数据开始计算，那么在计算过程中，将会消耗很大的带宽和资源。为此，现有技术预先对基础表中的基础数据进行了某种程度上的聚合，产生了一些中间表(DATAMART)，直接供下游的业务数据处理任务进行处理以得到业务数据，从而减少对原始数据的读取和计算操作，节省带宽和资源。其中，中间表中的数据包括从基础表中提取的部分数据，或者对所提取的部分数据进行处理生成的中间数据。

然而，如果中间表中涵盖的数据量少，则会无法有效满足业务数据处理任务的提取需求；如果中间表涵盖的数据量大，又会使得中间表的规模过大，既占用存储空间，也无法有效提高数据的处理效率。为得到合适的中间表，现有技术主要依靠人工经验来设计中间表，但由于数据量巨大，所以中间表的调整周期过长，不及时、准确率不高。

发明内容

本发明实施例提供一种中间表更新方法及装置，以提高中间表调整的及时性和准确性。

一方面，本发明实施例提供了一种中间表更新方法，该方法包括：

获取业务数据处理任务对基础表和/或中间表中数据的提取记录；

根据所述提取记录，按照设定规则确定所述中间表的表项调整方案；

根据所述表项调整方案更新所述中间表的表项。

另一方面，本发明实施例还提供了一种中间表更新装置，该装置包括：

提取记录获取单元，用于获取业务数据处理任务对基础表和/或中间表中数据的提取记录；

表项调整方案确定单元，用于根据所述提取记录，按照设定规则确定所述中间表的表项调整方案；

中间表项更新单元，用于根据所述表项调整方案更新所述中间表的表项。

本发明实施例提供的技术方案，以智能的方式，来获取业务数据处理任务对基础表和/或中间表中数据的提取情况，并据此动态调整中间表中的表项，使得中间表的表项和规模可以达到较佳的平衡点，从而提高了中间表调整的及时性和准确性。

附图说明

图1是本发明实施例一提供的一种中间表更新方法的流程示意图；

图2是本发明实施例三提供的一种中间表更新方法的流程示意图；

图3是本发明实施例三提供的中间表更新方法所适用的网络架构示意图；

图4是本发明实施例四提供的一种中间表更新装置的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1是本发明实施例一提供的一种中间表更新方法的流程示意图。本实施例可应用于由用于存储基础表和中间表的物理设备，以及执行业务数据处理任务的物理设备所构成的数据处理系统。其中，对于基础表和中间表而言，其可以以数据库的形式，被存储在同一台物理设备中，也可被存储在不同物理设备中；业务数据处理任务可以是由并列的不同类型的业务数据处理子任务组成，且每种业务数据处理子任务的个数为至少一个，不同的业务数据处理子任务可由不同的物理设备(例如，服务器)所负责执行。每个业务数据处理子任务，用于从基础表和中间表中提取数据并进行处理得到相应的业务数据。

本实施例提供的中间表更新方法，可由中间表更新装置执行，所述装置由软件实现。其中，中间表更新装置可作为独立的软件产品，而被设置在位于上述数据处理系统之外的第三方物理设备上，通过与数据处理系统之间的数据交互，实现对数据处理系统中中间表的更新。或者，中间表更新装置作为上述数据处理系统内的一部分软件模块，而被内置在数据处理系统内的一台物理设备中，以实现对数据处理系统中中间表的更新。参见图1，本实施例提供的中间表更新方法具体包括如下：