[发明专利]一种大数据环境下的指标计算方法

摘要

本发明公开了一种大数据环境下的指标计算方法，包括以下步骤：从数据存储服务器读取数据；对数据进行清洗；执行SparkSQL，进行中间表计算；通过执行预先写好的SparkSQL，计算游戏指标；判断计算时间是否为当天，如是当天，则停止计算，如不是当天，则继续计算下一天的指标。本发明通过SparkSQL功能，将指标计算的逻辑完全写在sql中，并将sql写入数据库，新增一个指标，只需要几条sql就能达到目的，基本上实现了零代码增加需求；在指标计算完之后，通过提取公共字段，达到压缩指标数据的目的，同时也提高了指标查询速度，本方法可以广泛应用于带有简单统计数据功能的系统中。

主权项

1.一种大数据环境下的指标计算方法，其特征是，包括以下步骤：S1、初始化，从数据库获取Job调度和指标计算SQL信息，并对需要使用的SQL中的参数进行初始化；S2、根据初始化信息，从云存储服务器加载游戏对应的事件数据到内存，并创建对应的事件视图，供后续步骤使用；S3、如事件数据有脏数据或错误数据，则利用SparkSQL，对步骤S2加载的事件数据进行数据清洗；如事件数据没有脏数据或错误数据，则直接跳转至步骤S4；S4、利用SparkSQL进行中间表计算，并创建中间表视图；S5、利用事件视图和中间表视图，进行游戏指标计算，计算完后，插入至数据库以供展示；S6、根据计算时间和系统需求，结束本操作；或继续更新计算时间，返回步骤S1，重复操作。