[发明专利]一种轻量化计算任务的基于TCP的双向通信协议

权利要求书

1.一种轻量化计算任务的基于TCP的双向通信协议，其特征在于：包括以下步骤

(1)启动一Spark任务，所述任务进行上下文环境初始化和Driver进程日志的Tailer监听操作；通过Netty创建NettyServer实例与周边应用进行对接，NettyServer实例的连接参数存储在ZooKeeper集群中；

(2)当Driver进程日志有变更，变更部分被Tailer监听到后，将其内容发送给所有的已连接应用，并且内容字符串最前方加入标识“！log”，标识该段推送信息为最近变更日志的内容；

(3)Spark Driver进程中的NettyServer接收已建立连接的周边客户端应用发来的请求命令，并原路一对一返回处理结果内容；

(4)请求命令以字符“！”开头的，标识为双方已经协商好的指令；

(5)在Netty连接通道中传输的字符串内容全部经过ZIP编码和UNZIP解码。

2.根据权利要求1所述的一种轻量化计算任务的基于TCP的双向通信协议，其特征在于：步骤(4)所述的指令如下：

！showDatabasesAndTables查看所有的库表元数据信息，TSV格式；第一列为库名，第二列为库所辖的表名，多个表名之间用逗号隔开；

！databaseMeta{库名}查看指定库名的元数据信息，TSV格式；其中第一列为库名，第二列为表名，第三列为字段信息，字段信息格式是字段名|类型|注释；第四列为分区字段名，多个用逗号隔开；

！tableMeta{库名}{表名}查看指定库名和表名的元数据信息，TSV格式；返回信息格式如上(其中的一行)；

！quit关闭Netty服务实例并从Yarn容器中注销该Spark任务；

非！开头的字符串任务是SQL脚本，多条SQL之间按照管理用“；”分割；返回的即其中最后一条SQL执行后的DataFrame结果集，并取出前面200条记录转成包含字段头信息的TSV格式数据返回给发出请求的客户端。

3.根据权利要求1所述的一种轻量化计算任务的基于TCP的双向通信协议，其特征在于：步骤(1)所述的连接参数具体为IP地址和端口。

4.根据权利要求1所述的一种轻量化计算任务的基于TCP的双向通信协议，其特征在于：步骤(2)所述，Driver进程日志有变更部分被Tailer监听到后，将其内容通过广播形式发送给所有的已连接应用。