[发明专利]一种针对复杂查询的分组入数据集市方法

说明书

本发明公开了一种针对复杂查询的分组入数据集市方法，在数据从数据源抽取到数据集市的过程中，对有复杂需求的数据抽取，针对可能会产生复杂的数据源查询的情况，提出了一种分组的加速入集市方法。首先通过对源数据分组列的特征分析判断出否能分组，然后根据分组列的不同值进行拆分，最后将拆分后的数据导入数据集市。为了加速入集市的过程，同时减少内存压力，数据将以“块”的单位进行处理，数据拆分过程和数据导入过程将同步进行。

技术领域

本发明涉及数据集市存储技术领域，更具体的说是涉及一种针对复杂查询的分组入数据集市方法。

背景技术

目前，现代信息技术已进入大数据时代。如何快捷的构建满足特定用户和部门的需求的数据存储，已成为数据中心急需解决的问题。数据集市是从企业范围内的数据仓库，数据库或者各种各样的数据源抽取出来，按照列式数据进行存储的一种面向决策分析需求的数据立方体。其中包括维度，维度的层次，需要计算的度量等。在各种各样的海量源数据导入到数据集市过程中，对于复杂的抽取需求，其查询性能可能呈数量级单位的下降。解决复杂数据抽取所衍生出来的复杂查询导入数据集市的性能问题成为迫切需要。

源数据导入数据集市大体可以分为三步。首先，连接数据源进行源数据查询、抽取、加工，并把查询结果加载至内存中；其次，对内存中的数据进行列式压缩，数据重新组织为列式存储；最后，生成具体的数据块文件，分发到数据集市节点中存储。

由于需求的多样性和复杂性，对源数据的查询，抽取加工处理可能会转化为源数据的复杂查询。但是，传统对复杂查询分组入数据集市和普通查询分组入数据集市的处理方式并无区别：根据分组列查询出分组不同值，然后将不同值作为过滤条件分别加入对源数据的查询中。这样就会产生更多次的复杂查询，导入数据集市速度受会到严重影响，甚至会影响到整个系统的稳定。

源数据导入数据集市的另外一个关键点为系统内存使用问题。对于海量数据的处理，导入到数据集市中，中间要经过系统对数据转列式存储与压缩处理。如何降低内存峰值，减少对象生命周期时间也是急需解决的问题之一。

因此，如何加快数据入数据集市的速度，降低复杂查询影响，同时如何在数据集市存储过程中降低内存峰值是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种针对复杂查询的分组入数据集市方法，在数据从数据源抽取到数据集市的过程中，对有复杂需求的数据抽取，针对可能会产生复杂的数据源查询的情况，提出了一种分组的加速入集市方法。首先通过对源数据分组列的特征分析判断出否能分组，然后根据分组列的不同值进行拆分，最后将拆分后的数据导入数据集市。为了加速入集市的过程，同时减少内存压力，数据将以“块”的单位进行处理，并且把分组信息加入到最后生成数据块的元信息，数据拆分过程和数据导入过程将同步进行，提高了数据入数据集市的速度。其中还包括评估入数据集市的可行性，根据分组列不同值在内存中对数据块进行分割以降低复杂查询的次数为1。

为了实现上述目的，本发明采用如下技术方案：

一种针对复杂查询的分组入数据集市方法，包括如下具体步骤：

步骤1：加载源数据，对所述源数据进行复杂查询，并在所述复杂查询中加入分组列的排序信息，对所述源数据进行特征分析，满足分割特征的所述源数据存储至内存中；否则，所述源数据按照所述排序信息的顺序生成数据块导入至数据集市节点；

步骤2：在所述内存中对所述源数据根据所述分组列的不同值进行分割，获得所述数据块；

步骤3：在所述数据块中增加元数据信息，获得增强数据块；

步骤4：将所述增强数据块进行压缩，获得压缩数据块，并将所述压缩数据块分发到所述数据集市节点。

优选的，源数据加载复杂查询过程、源数据分割过程和添加信息压缩数据块入所述数据集市的过程，分别设置为三个线程模型，并采用数据流式处理进行并行处理。