[发明专利]一种大数据环境下的指标计算方法

说明书

本发明公开了一种大数据环境下的指标计算方法，包括以下步骤：从数据存储服务器读取数据；对数据进行清洗；执行SparkSQL，进行中间表计算；通过执行预先写好的SparkSQL，计算游戏指标；判断计算时间是否为当天，如是当天，则停止计算，如不是当天，则继续计算下一天的指标。本发明通过SparkSQL功能，将指标计算的逻辑完全写在sql中，并将sql写入数据库，新增一个指标，只需要几条sql就能达到目的，基本上实现了零代码增加需求；在指标计算完之后，通过提取公共字段，达到压缩指标数据的目的，同时也提高了指标查询速度，本方法可以广泛应用于带有简单统计数据功能的系统中。

技术领域

本发明属于大数据统计的技术领域，具体地说，涉及一种大数据环境下的指标计算方法。

背景技术

随着互联网、物联网、无线传感器、云计算的快速发展，全球数据量出现爆炸式增长，人类社会进入大数据时代。大数据的特征包括：

1.数据量巨大，从TB级别，跃升到PB级别；

2.数据类型繁多，包括网络日志、视频、图片、地理位置信息等；

3.价值密度低，海量的存储数据中，蕴含着巨大的价值，但实际有意义的数据，就在其中特别小的一部分；

针对大数据的这些特点，很多大公司提供了一站式解决方案，从存储到计算，例如阿里云和亚马逊云；但是，阿里云没有提供具体的指标计算方案，它只是提供了一个开放的服务环境，基本就是卖服务器；亚马逊提供了数据仓库供数据统计，但是服务太贵，不仅需要对数据仓库的接口比较了解，而且业务代码开发也比较繁琐，维护比较困难。

发明内容

针对现有技术中上述的不足，本发明提出一种大数据环境下的指标计算方法，分离了指标计算调度代码和业务计算SQL，将数据的读取、预处理、计算、结果存储的SQL全部放入数据库，通过该方法，基本可以实现零代码完成需求。

为了达到上述目的，本发明采用的解决方案是：一种大数据环境下的指标计算方法，包括以下步骤：

S1、初始化，从数据库获取Job调度和指标计算SQL信息，并对需要使用的SQL中的参数进行初始化；

S2、根据初始化信息，从云存储服务器加载游戏对应的事件数据到内存，并创建对应的事件视图，供后续步骤使用；

S3、如事件数据有脏数据或错误数据，则利用SparkSQL，对步骤S2加载的事件数据进行数据清洗；如事件数据没有脏数据或错误数据，则直接跳转至步骤S4；

S4、利用SparkSQL进行中间表计算，并创建中间表视图；

S5、利用事件视图和中间表视图，进行游戏指标计算，计算完后，插入至数据库以供展示；

S6、根据计算时间和系统需求，结束本操作；或继续更新计算时间，返回步骤S1，重复操作。

进一步地，步骤S1包括以下步骤：

S11、根据数据库表数据，构造事件加载信息EventLoadMap，事件加载信息EventLoadMap包括云存储服务器中事件对应的文件名以及事件加载到内存后创建的视图名；

S12、判断对应的事件数E，若E0，说明该游戏没有需要加载的事件数据，则结束该游戏的整个计算流程；若E≥0，进入步骤S13；

S13、根据数据库数据，构造事件数据清洗信息CleanDirtyDataMap，事件数据清洗信息CleanDirtyDataMap包括需要数据清洗的视图名称以及清洗数据的SparkSQL；

S14、构造中间表计算信息MidDataMap，中间表计算信息MidDataMap包括中间表视图名以及计算中间表的SparkSQL；