[发明专利]一种云平台全自动计算方法及装置

摘要

本申请公开了一种云平台全自动计算方法及装置，计算方法包括步骤获取计算数据源，数据采集客户端进行流量采集，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；获取计算规则，用户完成信息输入操作，将信息提交到Redis缓存；后台服务器计算程序从Redis中获取必要的参数，映射成表结构，对SQL语句进行语法解析，结合映射表结构拆解成不同的执行动作，得到计算规则；计算结果，读取计算数据源按照计算规则进行计算，得到结果。本发明减少了程序复用的开发工作，短时间内获取流式数据的结果。

主权项

一种云平台全自动计算方法，其特征在于，包括步骤：获取计算数据源：连接Kafka分布式发布订阅消息子单元，数据采集客户端进行流量采集，按照该数据采集客户端的配置方式进行配置，将采集到的流量数据同步传送至Kafka分布式发布订阅消息子单元，该数据采集客户端分为三层：数据采集、数据传输和数据存储，其中，数据采集层，各应用程序通过调用数据中心API，将采集的数据标准格式化后传输给应用服务器上部的代理端；数据传输层，通过push写、pull读的两种方式，将采集的标准格式化数据存储至HDFS；数据存储层：采用HDFS进行数据的存储；HDFS对所述流量数据进行永久保存，Kafka分布式发布订阅消息子单元保存的所述流量数据用作计算数据源；获取计算规则：用户完成信息输入操作，填写流量中字段的名字、字段的类型、填写结果的保存方式以及执行的SQL语句，将所述信息提交到Redis缓存，提交任务；后台服务器启动计算程序，计算程序从Redis中获取必要的参数，包括字段名字和字段类型，按照字段名字和字段类型，映射成表结构，再获取SQL语句，对SQL语句进行语法解析，结合所述映射表结构拆解成不同的执行动作，得到计算规则；计算结果：读取Kafka分布式发布订阅消息子单元中的流量数据按照所述计算规则进行计算，得到结果。