[发明专利]一种云平台全自动计算方法及装置

说明书

技术领域

本发明涉及云计算技术领域，具体地说，是涉及一种云平台全自动计算方法及装置。

背景技术

结构化查询语言(Structured Query Language)简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。

结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式，所以具有完全不同底层结构的不同数据库系统，可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

现有技术中存在日志的自动分析，一般采用RSysLog实时上传日志数据，平台按照标准的Nginx格式日志进行解析，然后事实进行数据的分析计算，展现给用户一个直观的服务器运行情况。RSysLog是一个快速处理收集系统日志的程序，提供了高性能、安全功能和模块化设计。rsyslog是syslog的升级版，它将多种来源输入输出转换结果到目的地，可以处理100万条信息，特点是多线程、支持加密协议：ssl，tls，relp；3.mysql、oracle、postgreSQL。但是平台的计算逻辑存在限制，日志的接入格式有限制，只能够对Nginx日志进行分析，且得出特定的几个数据结果。用户没法进行其他结果的获取，也没法接入非Nginx格式的日志进行分析，存在诸多的不方便。

发明内容

为解决上述技术问题，本发明提供了一种云平台全自动计算方法，包括步骤：

获取计算数据源：连接Kafka分布式发布订阅消息子单元，数据采集客户端进行流量采集，按照该数据采集客户端的配置方式进行配置，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储；HDFS对所述流量数据进行永久保存，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；

获取计算规则：用户完成信息输入操作，填写流量中字段的名字、字段的类型、填写结果的保存方式以及执行的SQL语句，将所述信息提交到Redis缓存，提交任务；后台服务器启动计算程序，计算程序从Redis中获取必要的参数，包括字段名字和字段类型，按照字段名字和字段类型，映射成表结构，再获取SQL语句，对SQL语句进行语法解析，结合所述映射表结构拆解成不同的执行动作，得到计算规则；

计算结果：读取Kafka分布式发布订阅消息子单元中的流量数据按照所述计算规则进行计算，得到结果。

优选地，所述填写结果的保存方式，进一步为，按照用户的设定将计算结果保存在HDFS中或保存在Redis中。

优选地，还包括步骤：将计算结果按照用户选定的结果保存方式进行保存。

优选地，所述对SQL语句进行语法解析，进一步为，通过Calcite对SQL语句进行功能拆分。

优选地，所述将采集的数据标准格式化，进一步为，数据的输出编码方式为UTF-8编码，数据标准格式包含九个字段，每个字段之间以逗号分割，所述九个字段为：C、L、T、N、S、M、P、V和O，当字段为T、N、S、M、P时对应的字段值，若含字母，则用小写字母进行书写。

本发明还公开了一种云平台全自动计算装置，包括计算数据源获取单元、计算规则获取单元和计算结果确定单元，其中，

所述计算数据源获取单元，用于获取计算用的数据源，包括数据采集客户端和Kafka分布式发布订阅消息子单元，

所述数据采集客户端，与Kafka分布式发布订阅消息子单元相耦接，进行流量采集，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储，HDFS对所述流量数据进行永久保存；