[发明专利]一种基于Spark大数据处理平台的查询方法

摘要

本发明公开了一种基于Spark大数据处理平台的查询方法，该查询方法是，若是排序查询时，判断当前计算任务的结果的排名序号是否是上一次输出序号的下一位，若是，则输出结果，然后按照排名序号判断紧挨其后是否有排名连续的已经存储的其它计算任务结果，有则一并输出这些结果；若不是，存储当前计算任务结果到相应的排名序号索引位置上。若是非排序查询时，每一个计算任务完成后立即输出结果。所有已经输出的结果不再存储或立即释放其占用内存。本发明的查询方法在执行常规的简单查询时，即使要处理的数据非常庞大，也能快速返回结果；执行复杂的查询时，能在原有基础上大大缩短用户响应时间，无论是执行哪种查询，没有任何延迟。

主权项

一种基于Spark大数据处理平台的查询方法，当Spark应用程序向Spark大数据处理平台提交job时，同时传递格式化结果的规则、输出结果的规则以及结果是否要排序的通知，同时Spark内部设定Task执行成功后的处理策略，其特征在于：若是排序查询时，判断当前Task结果的排名序号是否是上一次输出序号的下一位，若是，则根据Spark应用程序传递的结果格式化规则和输出规则输出结果，然后按照排名序号判断紧挨其后是否有排名连续的已经存储的其它Task结果，有则一并输出这些结果,已经输出的结果其占用的内存立即释放；若不是，存储当前Task结果到相应的排名序号索引位置上；若是非排序查询时，每一个Task成功后立即根据Spark应用程序传递的结果格式化规则和输出规则输出结果，结果不存储。