[发明专利]一种基于Spark大数据处理平台的查询方法

权利要求书

1.一种基于Spark大数据处理平台的查询方法，当Spark应用程序向Spark大数据处理 平台提交job时，同时传递格式化结果的规则、输出结果的规则以及结果是否要排序的通 知，同时Spark内部设定Task执行成功后的处理策略，其特征在于：

若是排序查询时，判断当前Task结果的排名序号是否是上一次输出序号的下一位，若 是，则根据Spark应用程序传递的结果格式化规则和输出规则输出结果，然后按照排名序号 判断紧挨其后是否有排名连续的已经存储的其它Task结果，有则一并输出这些结果,已经 输出的结果其占用的内存立即释放；若不是，存储当前Task结果到相应的排名序号索引位 置上；

若是非排序查询时，每一个Task成功后立即根据Spark应用程序传递的结果格式化规 则和输出规则输出结果，结果不存储。

2.根据权利要求1所述基于Spark大数据处理平台的查询方法，其特征在于：如果是非 排序查询，Spark大数据处理平台不再申请存储计算结果的内存，相应地，job最后一个阶段 的每个Task执行成功后直接输出结果；如果是排序查询且Task结果需要暂时存储，判断内 存是否足够容纳该Task结果，若内存不够容纳，则立即终止当前job，并通知Spark应用程序 查询结果超出系统容量，提示客户增加筛选条件。

3.根据权利要求1所述基于Spark大数据处理平台的查询方法，其特征在于：Spark大数 据处理平台内部集成的SQL语言交互式查询引擎应用程序SparkSQL得到计算结果后，先判 断结果是否为空，如果为空，不再走输出流程，如果不为空，根据配置可以选择是否格式化， 然后走输出流程。

4.根据权利要求3所述基于Spark大数据处理平台的查询方法，其特征在于：SparkSQL 应用程序输出结果时，直接引用结果，不再重新拷贝一份到输出模块。

5.根据权利要求1所述基于Spark大数据处理平台的查询方法，其特征在于：SparkSQL 应用程序向Spark大数据处理平台提交job前，需要预先定义结果格式化规则、结果输出规 则、结果是否要排序的通知，并在提交job时传递这些信息，其中结果格式化规则根据配置 可以是空。

6.根据权利要求1所述基于Spark大数据处理平台的查询方法，其特征在于：Spark大数 据处理平台所有跟提交job相关的接口均重载一份，重载的接口新增结果格式化规则、结果 输出规则以及结果是否要排序的通知这三个参数，最后在正式提交job前，根据这三个参数 设定Task成功后的处理策略；同时SparkSQL应用程序在提交job时，使用重载的接口。