[发明专利]一种基于tagSQL的数据处理方法、系统及装置

权利要求书

1.一种基于tagSQL的数据处理方法，其特征在于：包括以下步骤：

接收tagSQL xml文件和过程请求，并发送Spark应用进程到Spark模块，以及接收Spark模块返回的Spark session对象，所述Spark session对象用于使tagSQL应用进程和Spark模块建立连接；

根据过程请求从进程池中获取运行于Spark模块上的tagSQL应用进程；

tagSQL应用进程对tagSQL xml文件进行解析得到第一过程，所述第一过程包括可执行过程对象；

将过程请求转发到tagSQL应用进程，使tagSQL应用进程从第一过程中获取第二过程，并执行第二过程，所述第二过程包括所述第一过程中需要执行的过程对象；

其中，所述tagSQL为标签SQL语言，所述tagSQL xml文件包含客户端按照tagSQL xml标签要求进行业务逻辑处理的信息。

2.根据权利要求1所述的一种基于tagSQL的数据处理方法，其特征在于：在接收过程请求时，还包括以下步骤：

发送Spark应用进程到Spark模块，并接收Spark模块返回的Spark session对象；

其中，Spark模块的资源管理器采用的是yarn。

3.根据权利要求1所述的一种基于tagSQL的数据处理方法，其特征在于：所述对tagSQLxml文件进行解析，其具体为：

从tagSQL xml文件的根目录开始解析所有的tagSQL xml文件，将tagSQL xml文件中的tagSQL xml标签转换为树结构中对应的树节点对象；

其中，树节点对象包含有SQL类型对象、imp类型对象和exp类型对象。

4.根据权利要求3所述的一种基于tagSQL的数据处理方法，其特征在于：所述在对tagSQL xml文件进行解析时，还包括以下步骤：

对每一个可执行过程对象设置一个全局标识。

5.根据权利要求1所述的一种基于tagSQL的数据处理方法，其特征在于：所述从第一过程中获取第二过程，其具体为：

通过kettle从第一过程中获取第二过程。

6.根据权利要求1所述的一种基于tagSQL的数据处理方法，其特征在于：所述执行第二过程，其具体为：

基于Hadoop集群执行第二过程；

其中，Hadoop集群包含hdfs、yarn、Hbase、hive、Spark、oracle和mySQL。

7.根据权利要求6所述的一种基于tagSQL的数据处理方法，其特征在于：所述基于Hadoop集群执行第二过程，其具体为：

基于Hadoop集群解释并运行树结构的树节点对象。

8.根据权利要求7所述的一种基于tagSQL的数据处理方法，其特征在于：所述解释树结构的树节点对象，其具体为：

通过调用树节点对象的解释器模式解释树节点对象。

9.一种基于tagSQL的数据处理系统，其特征在于：包括：

接收模块，用于接收tagSQL xml文件和过程请求，并发送Spark应用进程到Spark模块，以及接收Spark模块返回的Spark session对象，所述Spark session对象用于使tagSQL应用进程和Spark模块建立连接；

获取模块，用于根据过程请求从进程池中获取运行于Spark模块上的tagSQL应用进程；

解析模块，用于tagSQL应用进程对tagSQL xml文件进行解析得到第一过程，所述第一过程包括可执行过程对象；

执行模块，用于将过程请求转发到tagSQL应用进程，使tagSQL应用进程从第一过程中获取第二过程，并执行第二过程，所述第二过程包括所述第一过程中需要执行的过程对象；

其中，所述tagSQL为标签SQL语言，所述tagSQL xml文件包含客户端按照tagSQL xml标签要求进行业务逻辑处理的信息。

10.一种基于tagSQL的数据处理装置，其特征在于：包括：

至少一个存储器，用于存储程序；

至少一个处理器，用于加载所述程序以实现如权利要求1-8任一项所述的一种基于tagSQL的数据处理方法。