[发明专利]一种大数据引擎统一接入系统及方法

说明书

本发明公开了一种大数据引擎统一接入系统和方法，包括：接入和管理不同框架的计算引擎，不同框架的计算引擎通过引擎管理适配多版本的引擎创建和回收；接收和发送用户的数据服务请求；获取数据服务请求，并将数据服务请求统一路由分发至计算引擎进行处理；解析数据服务请求，并根据数据服务请求选择适于处理数据服务请求的计算引擎进行处理，处理完成后返回计算引擎的数据服务响应的结果集。本发明的有益效果为：通过对接和管理不同框架的计算引擎，降低了系统的复杂度，并根据不同的数据服务请求选择合适的计算引擎进行处理，能够提高系统的运行效率，降低系统资源消耗；提供标准化的服务接口，降低了大数据服务的使用难度。

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种大数据引擎统一接入系统及方法。

背景技术

随着人工智能、大数据技术的普及和应用，针对不同的场景衍生出了丰富的计算与存储引擎，例如：Apache Hive、Spark、Hbase、Impala等分布式计算存储框架。现阶段通常通过引入多个开源中间件来实现业务需求，不断丰富大数据平台架构。然而当数据应用、工具系统和底层的计算与存储组件越来越多时，整个数据平台将会变成的网状结构，无论是可扩展性、易用性，还是接入的复杂度都会成指数级上升。

发明内容

为解决上述问题，本发明的目的在于提供一种可以汇聚多种大数据引擎，并对外提供标准化的服务接口，能够降低系统复杂度，提高可扩展性和易用性的大数据引擎统一接入系统及方法。

本发明提供了一种大数据引擎统一接入系统，该系统包括服务端，所述服务端包括：

数据服务SDK，其提供标准化的SDK，用于包括接收用户的数据服务请求，向计算引擎发送用户的数据服务请求，并获取计算引擎的数据服务响应的结果集；

统一路由接入层，其用于接收所述数据服务SDK发送的数据服务请求，根据标准化的URL，识别后端服务，统一进行路由分发，将所述数据服务请求发送至计算引擎进行处理；

计算引擎接入层，其用于解析由所述统一路由接入层分发的数据服务请求，并根据不同种类的数据服务请求选择适用于处理所述数据服务请求的计算引擎，所述计算引擎根据所述数据服务请求返回响应结果；

引擎管理器，其用于根据对接的不同框架的计算引擎，选择与所述计算引擎相对应的引擎管理器，不同的计算引擎的引擎管理器适配多版本的引擎创建和回收。

作为本发明进一步的改进，所述数据服务SDK同时支持异步和同步响应结果集，对于结果集的操作包括：迭代输出、下载文件和返回结果集地址。

作为本发明进一步的改进，所述统一路由接入层还包括对所述数据服务SDK发送的数据服务请求进行权限验证、访问审计和参数合法性校验。

作为本发明进一步的改进，所述计算引擎接入层还包括对解析后的数据服务请求进行参数合法性校验和数据权限校验。

作为本发明进一步的改进，所述系统还包括服务注册中心，不同的数据服务请求采用所述服务注册中心进行数据服务的注册和发现。

作为本发明进一步的改进，所述系统根据不同的数据服务请求创建并启动不同的数据服务进程，不同的数据服务进程之间采用RPC引擎进行通讯。

作为本发明进一步的改进，所述计算引擎接入层对数据服务请求进行解释包括对数据服务请求进行语法解析，识别出依赖的数据源信息；所述计算引擎接入层根据所述数据源信息进行预测，选择适用于处理所述数据服务请求的计算引擎。

作为本发明进一步的改进，所述系统采用容器化进行资源管理，包括：所述系统根据不同种类的数据服务请求选择适用处理所述数据服务请求的计算引擎，所述计算引擎通过预估响应所述数据服务请求所需的资源消耗进行容器化申请，数据服务请求响应结束后并对资源进行自动回收。