[发明专利]一种基于数据源的大数据量聚合查询的优化方法及装置

权利要求书

1.一种基于数据源的大数据量聚合查询的优化方法，其特征在于，该方法包括：

Spark在数据写入时，根据定义的预聚合表达式，对数据进行预聚合，生成的预聚合数据和明细数据在同一个事务中，并同时写入存储介质；

通过手工执行自定义的预聚合触发命令，根据通过专用命令定义的预聚合表达式，对存量的明细数据进行预聚合，生成预聚合数据；

数据查询时，解析查询语句，从定义的预聚合表达式中，匹配到最优的预聚合表达式进行数据查询。

2.根据权利要求1所述的基于数据源的大数据量聚合查询的优化方法，其特征在于，数据查询时，解析查询语句，从定义的预聚合表达式中，匹配到最优的预聚合表达式进行数据查询，包括：

数据查询时，读取明细数据目录下的预聚合表达式文件；

解析查询语句，从预聚合表达式文件中匹配预聚合表达式；

若匹配到一个预聚合表达式，则查询语句从该预聚合表达式对应的预聚合数据子目录中查询数据；

若匹配到多个预聚合表达式，则查询语句从多个预聚合表达式中选择指定的预聚合的列数量最小的预聚合表达式，再从该预聚合表达式对应的预聚合数据子目录中查询数据；

若未匹配到预聚合表达式，则从明细数据子目录中查询数据。

3.根据权利要求1所述的基于数据源的大数据量聚合查询的优化方法，其特征在于，Spark在数据写入时，在明细数据存放的目录下，生成一个专用的子目录，在该子目录下新建一个预聚合表达式文件，存储在数据源建表时指定的至少一个预聚合表达式。

4.根据权利要求3所述的基于数据源的大数据量聚合查询的优化方法，其特征在于，Spark在数据写入时，读取明细数据目录下的预聚合表达式文件，确定预聚合表达式，根据该预聚合表达式对当前的明细数据进行预聚合，生成预聚合数据；每次数据写入时，在明细数据目录下生成一个新的子目录，存储当前明细数据，同时在新的子目录下再生成一个以预聚合名称命名的子目录，存储预聚合数据。

5.根据权利要求4所述的基于数据源的大数据量聚合查询的优化方法，其特征在于，Spark在数据写入时，定期对同一个分区的多个明细数据子目录执行合并，合并后，原有的分区的明细数据子目录的最后状态字段标记为0，新生成的分区的明细数据子目录的最后状态字段标记为1。

6.一种基于数据源的大数据量聚合查询的优化装置，其特征在于，该装置包括：

写入数据预聚合模块，用于Spark在数据写入时，根据定义的预聚合表达式，对数据进行预聚合，生成的预聚合数据和明细数据在同一个事务中，并同时写入存储介质；

存量明细数据预聚合模块，用于通过手工执行自定义的预聚合触发命令，根据通过专用命令定义的预聚合表达式，对存量的明细数据进行预聚合，生成预聚合数据；

数据优化查询模块，用于数据查询时，解析查询语句，从定义的预聚合表达式中，匹配到最优的预聚合表达式进行数据查询。

7.根据权利要求6所述的基于数据源的大数据量聚合查询的优化装置，其特征在于，所述数据优化查询模块，具体用于：

数据查询时，读取明细数据目录下的预聚合表达式文件；

解析查询语句，从预聚合表达式文件中匹配预聚合表达式；

若匹配到一个预聚合表达式，则查询语句从该预聚合表达式对应的预聚合数据子目录中查询数据；

若匹配到多个预聚合表达式，则查询语句从多个预聚合表达式中选择指定的预聚合的列数量最小的预聚合表达式，再从该预聚合表达式对应的预聚合数据子目录中查询数据；

若未匹配到预聚合表达式，则从明细数据子目录中查询数据。

8.根据权利要求6所述的基于数据源的大数据量聚合查询的优化装置，其特征在于，Spark在数据写入时，在明细数据存放的目录下，生成一个专用的子目录，在该子目录下新建一个预聚合表达式文件，存储在数据源建表时指定的至少一个预聚合表达式。