[发明专利]数据处理方法、装置以及计算机可读存储介质

说明书

本发明涉及计算机处理技术领域，具体提供一种数据处理方法、装置以及计算机可读存储介质，该方法包括：获取用户提交的数据处理请求；根据数据处理请求，生成数据处理任务；将数据处理任务发送至具有用于处理数据处理任务的计算引擎的计算节点；调用计算引擎，从数据湖中获取数据处理任务使用的数据并执行数据处理任务；从计算节点获取数据处理任务的数据处理结果，将数据处理结果返回给用户。本发明对计算和存储进行了分离，计算依赖于部署在多个计算节点上的计算引擎，而存储依赖于统一汇聚存储多种数据的数据湖，确保了更容易对计算和存储能力进行扩容，建立了统一的数据处理过程，避免产生技术栈割裂的情况。

技术领域

本发明涉及计算机技术领域，具体提供一种数据处理方法、装置以及计算机可读存储介质。

背景技术

数字化项目实施过程中，业务方的数据多为复合异构数据，既包括文档类数据(word/pdf/excel等)，也包括多媒体数据(视频/音频/图片)，还包括流式数据(系统日志/物联网数据/用户访问记录等)，不同数据的形式、规模、处理方法各异。

传统的数据处理方案需要针对不同数据来源、数据类型的数据给予垂直性的技术栈进行数据分析治理，如针对多媒体感知类数据(如摄像头采集的视频数据、抓拍图片数据)使用深度学习AI(人工智能)模型、GPU(图形处理模块)算力进行特征提取；而对于结构化数据采用大数据存储与分析工具进行数据的结构化计算，两套技术栈各自有独立的编程模型范式，相互之间无法复用，整体方案复杂。系统间进行数据交换需要做额外传输交换动作，资源消耗大。

另外，传统方案中使用数据仓库，其采用的是计算与存储结合的模式，即计算引擎与数据存储紧密结合，该模式由于是本地化数据存取访问，可以达到最佳计算性能效率，但在大规模甚至超大规模数据量级上需要进行分布式扩容时由于计算引擎和数据存储绑定，扩容时会带来数据迁移，很难进行计算资源的弹性扩容。

因此，需要一种新的数据处理方案，破解传统方案中存在的技术栈割裂、难以弹性扩容的技术问题。

发明内容

为了克服上述缺陷，提出了本发明，以提供一种具有统一计算、适于弹性扩容的数据处理方法、装置以及计算机可读存储介质。

在第一方面，本发明提供一种数据处理方法，所述方法包括：获取用户提交的数据处理请求；根据所述数据处理请求，生成数据处理任务；将所述数据处理任务发送至具有用于处理所述数据处理任务的计算引擎的计算节点；调用所述计算引擎，从数据湖中获取所述数据处理任务使用的数据并执行所述数据处理任务；从所述计算节点获取所述数据处理任务的数据处理结果，将所述数据处理结果返回给所述用户。

优选地，前述的数据处理方法，所述数据处理请求为SQL语句，“根据所述数据处理请求，生成数据处理任务”的步骤包括：解析所述数据处理请求对应的SQL语句得到语法树，根据所述语法树生成SQL执行计划，根据所述SQL执行计划生成所述数据处理任务。

优选地，前述的数据处理方法，在“根据所述SQL执行计划生成所述数据处理任务”的步骤之前，还包括：根据预设的多个计算节点的分布情况，对所述SQL执行计划进行优化。

优选地，前述的数据处理方法，在“将所述数据处理任务发送至具有用于处理所述数据处理任务的计算引擎的计算节点”的步骤之前，还包括：根据所述数据处理任务的类型，查找具有用于处理所述类型数据处理任务的所述计算节点。

优选地，前述的数据处理方法，在所述数据处理任务的类型为AI解析任务时，所述计算引擎为AI计算引擎。

优选地，前述的数据处理方法，在所述数据处理任务的类型为SQL执行任务时，所述计算引擎为SQL执行引擎。

优选地，前述的数据处理方法，所述数据处理任务为多个，所述计算节点为多个，“从所述计算节点获取所述数据处理任务的数据处理结果”的步骤还包括：对来自多个计算节点的数据处理结果进行整合。