[发明专利]一种请求响应方法、设备、系统及可读存储介质

说明书

本发明公开了一种请求响应方法，该方法中由大数据融合引擎接收请求并进行相应的计算处理，通过主控节点的第一连接器获取数据存储信息，然后再经由工作节点的第二连接器从数据源端获取数据，使得存储资源与计算资源有效隔离，计算节点可以无状态横向扩容，解决了联机分析场景容量瓶颈问题；同时引擎主控节点只需承担任务解析以及执行阶段划分的请求管理任务，各引擎工作节点直连数据源工作节点直接获取数据，数据传输路径短，减轻了引擎主控节点的工作负担；同时数据通过分片分散获取传输可以避免一次性获取大量数据导致的短板效应等问题。本发明还公开了一种大数据融合引擎、系统及可读存储介质，具有相应的技术效果。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种请求响应方法、设备、系统及可读存储介质。

背景技术

联机分析处理(OLAP，Online Analysis Process)系统是数据仓库系统最主要的应用，专门设计用于支持复杂的分析操作，可以根据分析人员的要求快速、灵活地进行大数据量的复杂查询处理，并且以一种直观而易懂的形式将查询结果提供给决策人员。传统OLAP集群分为两类ROLAP(Relational OLAP，关系型联机分析处理)以及MOLAP(Multi-dimension OLAP，多维联机分析处理)，其中ROLAP类型集群数据组织方式为传统的关系型数据库。

ROLAP类集群可以解决当前金融系统分析人员大多数交互式分析的大多需求，但当数据量达到一定的规模时，该类集群存在明显的容量瓶颈问题。该类存储和计算耦合的架构在进行节点添加或者置换的时候，成本非常高，需要进行数据的重新分布，重分布过程中还会进一步出现瞬时网络IO压力过的等问题；而且节点的计算数据量越大其扩容或者置换的失败率越高，扩容存在不可控因素，而且同步节点期间会存在任务断连重试等问题。因而传统的ROLAP集群规模一般为百台服务器以内，无法满足应对更大规模业务量增量诉求。

综上所述，如何解决ROLAP集群的扩展容量瓶颈问题，保障系统运行的稳定性及可靠性，是目前本领域技术人员急需解决的技术问题。

发明内容

本发明的目的是提供一种请求响应方法、设备、系统及可读存储介质，以解决ROLAP集群的扩展容量瓶颈问题，保障系统运行的稳定性及可靠性。

为解决上述技术问题，本发明提供如下技术方案：

一种请求响应方法，包括：

大数据融合引擎接收到客户端发起的ROLAP集群查询请求后，通过引擎主控节点控制第一连接器通过ROLAP集群主控节点获取当前ROLAP集群中存活的计算实例；

所述引擎主控节点通过所述第一连接器收到返回的数据源列表后，将所述数据源列表封装在数据分片中，按集群任务分配策略将所述数据分片分发给空闲的引擎工作节点；

所述引擎工作节点将所述数据分片的加载任务添加至工作线程中等待排队处理；

所述引擎工作节点通过第二连接器收到ROLAP集群工作节点的数据后，将所述数据返回至下游的计算阶段进行计算处理，以便生成结果集；

所述引擎主控节点收到所述结果集后，将所述结果集反馈至所述客户端。

可选地，在所述将所述数据返回至下游的计算阶段进行计算处理之前，还包括：

将所述数据进行数据格式适配，转换为所述大数据融合引擎统一的数据格式。

可选地，在所述引擎工作节点通过第二连接器收到ROLAP集群工作节点的数据后，还包括：

判断是否配置数据缓存；

若配置数据缓存，将所述数据缓存至所述引擎工作节点的内存；