[发明专利]数据服务资源分配方法、装置、系统和存储介质

说明书

本发明公开一种数据服务资源分配方法、装置、系统和存储介质，属于数据分析技术领域。方法包括：在接收到数据请求时，对数据请求进行解析，其中，数据请求至少包括查询请求和导出请求中的一个；根据数据请求的解析结果，获取数据请求的复杂度；确定复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对数据请求进行服务资源分配。本发明通过对查询请求或导出请求自动分级控制，根据数据请求的复杂度等级分发给不同的服务资源进行处理，合理分配资源，实现了各级服务的同步进行，解决了资源抢占或分配不均的问题，并能够加速处理占时较少的数据请求，从而避免影响用户实时分析。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据服务资源分配方法、装置、系统和存储介质。

背景技术

目前，市场上比较常见的tableau、cognos等BI分析工具，在报表数据查询服务或导出服务场景下存在如下几种情况：

1)资源抢占或分配不均：查询与导出功能，集中部署，会出现查询与导出抢占资源；而分开部署，资源隔离，则会出现部分资源使用频繁，导致部分资源使用率低；

2)复杂报表导出难度大：报表设计复杂或符合条件的数据量非常大时，导出往往受数据量限制，且导出非常缓慢；

3)报表导出受限：绝大部分系统考虑到服务资源问题，对导出做管道控制，限制导出的并发量，这样当占时较长的导出执行时，很多占时较少的导出出现等待状态，从而影响用户实时分析。

发明内容

为了解决上述背景技术中提到的至少一个问题，本发明提供了一种数据服务资源分配方法、装置、系统和存储介质，以合理地对服务资源进行分配。

根据本发明的一个实施例，提供一种数据服务资源分配方法，所述方法包括：

在接收到数据请求时，对所述数据请求进行解析，其中，所述数据请求至少包括查询请求和导出请求中的一个；

根据所述数据请求的解析结果，获取所述数据请求的复杂度；

确定所述复杂度对应的复杂度等级，并至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配。

进一步地，所述解析结果至少包括所述数据请求所涉及的维度组合，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积与预设系数的乘积，计算出所述数据请求的复杂度，所述预设系数大于等于1。

进一步地，所述解析结果还包括所述维度组合涉及的数据表个数、出现列拆分的数据表个数、所述维度组合中是否出现分组合计中的至少一个，所述根据所述数据请求的解析结果，获取所述数据请求的复杂度，包括：

根据所述维度组合的笛卡尔积，以及根据所述维度组合涉及的数据表个数所确定的第一基数、所述出现列拆分的数据表个数所确定的第二基数、所述维度组合中是否出现分组合计所确定的第三基数中的至少一个与所述预设系数的乘积，计算出所述数据请求的复杂度。

进一步地，所述至少根据确定出的复杂度等级，对所述数据请求进行服务资源分配，包括：

当所述复杂度等级为高复杂度时，对所述数据请求分配到spark集群进行处理，或者将所述数据请求分配到任务服务器，以使所述任务服务器对所述数据请求生成spark任务并发送至spark集群处理；

当所述复杂度等级为中复杂度时，将所述数据请求分配到第一服务资源；

当所述复杂度等级为低复杂度时，将所述数据请求分配到第二服务资源；

其中，所述中复杂度对应的复杂度范围大于所述低复杂度对应的复杂度范围且小于所述高复杂度对应的复杂度范围。