[发明专利]一种云平台全自动计算方法及装置

权利要求书

1.一种云平台全自动计算方法，其特征在于，包括步骤：

获取计算数据源：连接Kafka分布式发布订阅消息子单元，数据采集客户端进行流量采集，按照该数据采集客户端的配置方式进行配置，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储；HDFS对所述流量数据进行永久保存，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；

获取计算规则：用户完成信息输入操作，填写流量中字段的名字、字段的类型、填写结果的保存方式以及执行的SQL语句，将所述信息提交到Redis缓存，提交任务；后台服务器启动计算程序，计算程序从Redis中获取必要的参数，包括字段名字和字段类型，按照字段名字和字段类型，映射成表结构，再获取SQL语句，对SQL语句进行语法解析，结合所述映射表结构拆解成不同的执行动作，得到计算规则；

计算结果：读取Kafka分布式发布订阅消息子单元中的流量数据按照所述计算规则进行计算，得到结果。

2.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述填写结果的保存方式，进一步为，按照用户的设定将计算结果保存在HDFS中或保存在Redis中。

3.根据权利要求2所述的云平台全自动计算方法，其特征在于，还包括步骤：将计算结果按照用户选定的结果保存方式进行保存。

4.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述对SQL语句进行语法解析，进一步为，通过Calcite对SQL语句进行功能拆分。

5.根据权利要求1所述的云平台全自动计算方法，其特征在于，所述将采集的数据标准格式化，进一步为，数据的输出编码方式为UTF-8编码，数据标准格式包含九个字段，每个字段之间以逗号分割，所述九个字段为：C、L、T、N、S、M、P、V和O，当字段为T、N、S、M、P时对应的字段值，若含字母，则用小写字母进行书写。

6.一种云平台全自动计算装置，其特征在于，包括计算数据源获取单元、计算规则获取单元和计算结果确定单元，其中，

所述计算数据源获取单元，用于获取计算用的数据源，包括数据采集客户端和Kafka分布式发布订阅消息子单元，

所述数据采集客户端，与Kafka分布式发布订阅消息子单元相耦接，进行流量采集，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储，HDFS对所述流量数据进行永久保存；

所述Kafka分布式发布订阅消息子单元，分别与所述数据采集客户端和计算结果确定单元相耦接，同步接收所述数据采集客户端发送的流量数据，用作计算数据源；所述计算规则获取单元，用于得到计算规则，用户完成信息输入操作，填写流量中字段的名字、字段的类型、填写结果的保存方式以及执行的SQL语句，将所述信息提交到Redis缓存，提交任务；后台服务器启动计算程序，计算程序从Redis中获取必要的参数，包括字段名字和字段类型，按照字段名字和字段类型，映射成表结构，再获取SQL语句，对SQL语句进行语法解析，结合所述映射表结构拆解成不同的执行动作，得到计算规则；

所述计算结果确定单元，分别与所述计算数据源获取单元中的Kafka分布式发布订阅消息子单元和计算规则获取单元相耦接，读取Kafka分布式发布订阅消息子单元中的流量数据按照所述计算规则进行计算，得到结果。

7.根据权利要求6所述的云平台全自动计算装置，其特征在于，所述计算结果确定单元还用于将计算结果按照用户选定的结果保存方式进行保存。

8.根据权利要求6所述的云平台全自动计算装置，其特征在于，所述SQL语句处理单元，通过Calcite对SQL语句进行功能拆分。