[发明专利]一种用于创建或刷新分析型数据仓库的离线数据集合的方法和装置

权利要求书

1.一种用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，包括：

为满足预设条件的分析型数据仓库的查询任务建立查询表达式模板；

利用所述查询表达式模板创建或刷新离线数据集合；

其中，所述满足预设条件至少包括下列条件中的一种：

查询任务的可执行命令文本的特征为设定的类型；

查询任务的执行结果为设定类型的结果。

2.根据权利要求1所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述查询表达式模板，包括：类关系运算表达式模板。

3.根据权利要求2所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述查询任务的可执行命令文本的特征为设定的类型，至少包括以下一种特征：过滤、聚合计算、多表连接、集合交集、集合并集、集合差集、函数分析、集合的机器学习类迭代计算。

4.根据权利要求2所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述查询任务的执行结果为设定类型的结果，至少包括一种执行结果：执行超时、执行超资源、执行失败。

5.根据权利要求4所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述执行超时，包括：执行超过预设时间。

6.根据权利要求5所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述预设时间，具体的是指30秒。

7.根据权利要求4所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述执行超资源，包括：执行超过预设资源使用量。

8.根据权利要求7所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述预设资源使用量，至少包括以下一种资源：CPU资源、内存资源、IO资源、网络传输资源。

9.根据权利要求2所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述利用类关系运算表达式模板创建或刷新离线数据集合，至少包括以下一种创建或刷新方法：

数据批量导入离线批量导入表时利用类关系运算表达式模板创建或刷新离线数据集合；

操作离线实时表时利用类关系运算表达式模板创建或刷新离线数据集合。

10.根据权利要求9所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述数据批量导入离线批量导入表，至少包括一种导入方式：

数据全量覆盖离线批量导入表；

增加离线批量导入表的二级分区后将数据导入批量导入表的二级分区。

11.根据权利要求9所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述数据批量导入离线批量导入表时利用类关系运算表达式模板创建或刷新离线数据集合，还包括以下步骤：

建立全量数据索引和列存文件。

12.根据权利要求9所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，还包括以下创建或刷新方法：

出现新的类关系运算表达式模板时创建或刷新离线数据集合。

13.根据权利要求12所述的用于创建或刷新分析型数据仓库的离线数据集合的方法，其特征在于，所述出现新的类关系运算表达式模板时创建或刷新离线数据集合，包括：

出现新的类关系运算表达式模板时在出现的本地创建或刷新离线数据集合。