[发明专利]一种SparkSQL系统中的数据处理方法和装置

权利要求书

1.一种SparkSQL系统中的数据处理方法，其中，该方法包括：

当接收到对SparkSQL系统中的数据表的查询请求时，判断该请求是否命中聚合查询预处理任务的列；

如果命中，则将所述查询请求发送至联机分析处理OLAP引擎，接收所述OLAP引擎返回的聚合查询结果；

如果未命中，则调用SparkSQL系统的SQL查询模块完成本次查询请求；

该方法还包括：

为SparkSQL系统中的数据表的指定列建立聚合查询预处理任务，以使所述OLAP引擎根据所述聚合查询预处理任务，获取所述数据表的数据，对所述数据表的指定列进行聚合查询，得到聚合查询结果；所述为SparkSQL系统中的数据表的指定列建立聚合查询预处理任务包括：

当所述数据表的指定列的数据发生改变时，将增量数据以数据流方式推送至所述OLAP引擎，

和/或，

记录聚合查询预处理任务执行的时间点，在接收到所述OLAP引擎发送的数据获取请求时，将所述数据表的全部数据，或所述数据表自上一记录的时间点开始，因指定列的数据改变产生的增量数据返回给所述OLAP引擎。

2.如权利要求1所述的方法，其中，所述为SparkSQL系统中的数据表的指定列建立聚合查询预处理任务包括：

选定所述OLAP引擎中的至少一种聚合查询方法，和/或自定义至少一种聚合查询方法。

3.如权利要求1所述的方法，其中，所述判断该请求是否命中聚合查询预处理任务的列包括：

从所述查询请求中解析出待查询的表名和列名；

根据所述待查询的表名，判断相应的数据表是否存在与待查询的列名对应的聚合查询预处理任务，若存在则判断为命中，若不存在则判断为未命中。

4.如权利要求3所述的方法，其中，所述从所述查询请求中解析出待查询的表名和列名包括：

从所述查询请求中解析出类型为聚合查询请求的子请求；

从所述子请求中解析出待查询的表名和列名。

5.如权利要求3所述的方法，其中，所述为SparkSQL系统中的数据表的指定列建立聚合查询预处理任务还包括：

在该数据表的表结构中标识聚合查询预处理任务的列；

所述根据所述待查询的表名，判断相应的数据表是否存在与待查询的列名对应的聚合查询预处理任务包括：

根据所述待查询的表名，从相应数据表的表结构中读取该数据表的聚合查询预处理任务的列，根据所述待查询的列名判断所述表结构中是否存在与该列名对应的聚合查询预处理任务。

6.一种SparkSQL系统中的数据处理方法，其中，该方法包括：

接收为SparkSQL系统中的数据表的指定列建立的聚合查询预处理任务；

根据所述聚合查询预处理任务，获取所述数据表的数据并对所述数据表的指定列进行聚合查询，得到聚合查询结果；

接收对SparkSQL系统中的数据表的查询请求，根据该请求查找相应的聚合查询结果；

将查找到的聚合查询结果返回给所述请求的发送方；

所述根据所述聚合查询预处理任务，获取所述数据表的数据并对所述数据表的指定列进行聚合查询，得到聚合查询结果包括：

接收以数据流方式推送的，当所述数据表的指定列的数据发生改变时产生的增量数据，和/或，在聚合查询预处理任务执行的时间点发送数据获取请求，接收返回的所述数据表的全部数据，或所述数据表自上一次任务执行的时间点开始，因指定列的数据改变产生的增量数据；

根据已接收到的所述数据表的最新数据，对数据表的指定列进行聚合查询，得到聚合查询结果。

7.如权利要求6所述的方法，其中，根据所述聚合查询预处理任务，获取所述数据表的数据并对所述数据表的指定列进行聚合查询，得到聚合查询结果包括：

根据选定的至少一种聚合查询方法，和/或自定义的至少一种聚合查询方法，利用获取的所述数据表的数据，对所述数据表的指定列进行聚合查询，得到聚合查询结果。