[发明专利]一种基于tagSQL的数据处理方法、系统及装置

说明书

本发明公开了一种基于tagSQL的数据处理方法、系统及装置，方法包括以下步骤：接收tagSQL xml文件和过程请求；根据过程请求获取tagSQL应用进程；tagSQL应用进程对tagSQL xml文件进行解析得到第一过程；将过程请求转发到tagSQL应用进程，使tagSQL应用进程从第一过程中获取第二过程，并执行第二过程；其中，所述tagSQL xml文件包含客户端按照tagSQL xml标签要求进行业务逻辑处理的信息。本发明通过将Spark SQL变成类SQL存储过程的编程语言，从而兼容多种接口语言。本发明可广泛应用于大数据技术领域。

技术领域

本发明涉及大数据技术领域，尤其是一种基于tagSQL的数据处理方法、系统及装置。

背景技术

Apache Spark(基于内存计算的开源的集群计算系统)是专为大规模数据处理而设计的快速通用的计算引擎，具有Hadoop MapReduce所具有的优点，但是不同于MapReduce(编程模型)的是：运行中间输出结果可以保存在内存中，从而不再需要读写HDFS(HadoopDistributed File System，Hadoop项目的核心子项目)，所以Spark(开源集群计算环境)能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。Spark SQL是Spark处理数据的一个模块，跟基本的Spark RDD(弹性分布式数据集)的api(应用程序编程接口)不同，Spark SQL中提供的接口将会提供给Spark更多关于结构化数据和计算的信息。SparkSQL的一个作用是执行SQL查询语句，也可以从hive(基于Hadoop的数据仓库工具)中读取数据，当使用其它编程语言来运行一个SQL语句时，结果会返回一个Dataset(独立数据集合)或者DataFrame(二位数据结构)，具体可以使用命令行、JDBC(Java DtatabaseConnectivity，Java数据库连接)或者ODBC(Open Database Connectivity，开放数据库连接)的方式与SQL交互。

Spark SQL提供了几种调用方式：命令行、java api、python api、scala api，这几种调用方式适用于不同的使用人员，但是，由于现有技术的SQL编程的命令行只能满足单行语句调用，而SQL的大部分编程人员又没有掌握另外三种接口语言，所以程序员无法快速开展大数据开发工作。

发明内容

为解决上述技术问题，本发明的目的在于：提供一种能兼容多种接口语言的基于tagSQL的数据处理方法、系统及装置。

本发明采用的第一种技术方案是：

一种基于tagSQL的数据处理方法，包括以下步骤：

接收tagSQL xml文件和过程请求；

根据过程请求获取tagSQL应用进程；

tagSQL应用进程对tagSQL xml文件进行解析得到第一过程；

将过程请求转发到tagSQL应用进程，使tagSQL应用进程从第一过程中获取第二过程，并执行第二过程；

其中，所述tagSQL xml文件包含客户端按照tagSQL xml标签要求进行业务逻辑处理的信息。

进一步地，在接收过程请求时，还包括以下步骤：

发送Spark应用进程到Spark模块，并接收Spark模块返回的Spark session对象；

其中，Spark模块的资源管理器采用的是yarn。

进一步地，所述对tagSQL xml文件进行解析，其具体为：

从tagSQL xml文件的根目录开始解析所有的tagSQL xml文件，将tagSQL xml文件中的tagSQL xml标签转换为树结构中对应的树节点对象；