[发明专利]基于结构化查询语言的数据查询方法、装置和系统

说明书

本申请实施例公开了基于结构化查询语言的数据查询方法、装置和系统。所述方法的一实施例包括：基于结构化查询语言的数据查询方法，包括：响应于接收到数据查询请求，解析数据查询请求以确定发起数据查询请求的用户的用户身份信息以及数据查询请求的并发度；基于用户身份信息和数据查询请求的并发度确定用户的可调用资源；响应于确定用户具有可调用资源，利用可调用资源执行数据查询请求所指示的数据查询任务。该实现方式有效地缓解了多用户资源共享时可能造成的部分用户的请求等待执行的时间过长的现象，有利于提升执行各用户发起的数据查询请求的响应速度。

技术领域

本申请实施例涉及通信技术领域，具体涉及分布式数据存储领域，尤其涉及基于结构化查询语言的数据查询方法、装置和系统。

背景技术

在当今的大数据时代，基于对分布式数据集的SQL(Structured Query Language，结构化查询语言)查询进行的数据分析以及报表产出，是互联网公司、数据分析公司甚至部分传统企业的普遍需求。

现有的利用Spark框架进行SQL查询的方案包括如下两种：启动一个Spark-Shell或者Spark-SQL的客户端进行交互式查询。或者，以Spark-Submit的方式提交一个Spark作业，作业逻辑内完成SQL查询以及其他处理逻辑。

发明内容

本申请实施例提出了基于结构化查询语言的数据查询方法、装置和系统。

第一方面，本申请实施例提供了一种基于结构化查询语言的数据查询方法，包括：基于结构化查询语言的数据查询方法，包括：响应于接收到数据查询请求，解析数据查询请求以确定发起数据查询请求的用户的用户身份信息以及数据查询请求的并发度；基于用户身份信息和数据查询请求的并发度确定用户的可调用资源；响应于确定用户具有可调用资源，利用可调用资源执行数据查询请求所指示的数据查询任务。

在一些实施例中，基于用户身份信息和数据查询请求的并发度确定用户的可调用资源，包括：基于用户身份确定用户的当前可用并发度；响应于确定用户具有可调用资源，利用可调用资源执行数据查询请求所指示的数据查询任务，包括：响应于确定数据查询请求的并发度不超过当前可用并发度，利用预先向用户分配计算资源执行数据查询请求所指示的数据查询任务。

在一些实施例中，基于用户身份确定用户的当前可用并发度，包括：基于用户身份确定用户的最大并发度和当前运行并发度，其中，用户最大并发度基于预先设置的最大并行执行任务数确定；以及将用户的最大并发度和当前运行并发度之差作为用户的当前可用并发度。

在一些实施例中，最大并发度还包括当前可借用资源，其中，当前可借用资源为其他用户的当前未使用计算资源。

在一些实施例中，方法还包括：向调度层反馈用于指示各用户的当前运行并发度的并发度信息以及各用户的待执行任务信息，以使调度层基于并发度信息和待执行任务信息确定是否下发所接收到的用户查询请求。

第二方面，本申请实施例还提供了一种基于结构化查询语言的数据查询系统，包括至少一个任务处理单元，其中，各任务处理单元用于执行如第一方面所述的方法。

在一些实施例中，系统还包括任务调度层；任务调度层用于响应于接收到数据查询请求，解析数据查询请求以确定发起数据查询请求的用户的用户身份信息，并基于所确定的用户身份信息，向其中一个任务处理单元转发数据查询请求。

在一些实施例中，任务调度层还用于：响应于接收到任务处理单元发送的用户的当前运行并发度的并发度信息以及用户的待执行任务信息，基于所接收到的并发度信息和待执行任务信息，确定是否将所接收到的数据查询请求向任务处理单元分发。

在一些实施例中，系统还包括接口层；接口层用于响应于接收到用户发送的数据查询请求，将所接收的数据查询请求向任务调度层转发。