[发明专利]一种大数据环境下的指标计算方法

权利要求书

1.一种大数据环境下的指标计算方法，其特征是，包括以下步骤：

S1、初始化，从数据库获取Job调度和指标计算SQL信息，并对需要使用的SQL中的参数进行初始化；

S2、根据初始化信息，从云存储服务器加载游戏对应的事件数据到内存，并创建对应的事件视图，供后续步骤使用；

S3、如事件数据有脏数据或错误数据，则利用SparkSQL，对步骤S2加载的事件数据进行数据清洗；如事件数据没有脏数据或错误数据，则直接跳转至步骤S4；

S4、利用SparkSQL进行中间表计算，并创建中间表视图；

S5、利用事件视图和中间表视图，进行游戏指标计算，计算完后，插入至数据库以供展示；

S6、根据计算时间和系统需求，结束本操作；或继续更新计算时间，返回步骤S1，重复操作；

步骤S1包括以下步骤：

S11、根据数据库表数据，构造事件加载信息EventLoadMap，事件加载信息EventLoadMap包括云存储服务器中事件对应的文件名以及事件加载到内存后创建的视图名；

S12、判断对应的事件数E，若E 0，说明该游戏没有需要加载的事件数据，则结束该游戏的整个计算流程；若E≥0，进入步骤S13；

S13、根据数据库数据，构造事件数据清洗信息CleanDirtyDataMap，事件数据清洗信息CleanDirtyDataMap包括需要数据清洗的视图名称以及清洗数据的SparkSQL；

S14、构造中间表计算信息MidDataMap，中间表计算信息MidDataMap包括中间表视图名以及计算中间表的SparkSQL；

S15、构造指标计算信息MetricComputeMap，指标计算信息MetricComputeMap包括指标计算完后需要插入到数据库的表名以及计算该指标的SpakrSQL。

2.根据权利要求1所述的大数据环境下的指标计算方法，其特征是，所述步骤S5的游戏指标计算包括以下步骤：

S51：遍历步骤S15所述指标计算信息MetricComputeMap，获取指标对应数据库表名和该表所包含指标的计算SQL集合C；

S52：遍历指标计算SQL集合C，并对遍历出的SQL进行参数初始化，然后执行指标计算；

S53：若已遍历完集合C，则对计算出的指标进行合并；若未遍历完集合C，返回步骤S52；

S54：若需要更新历史指标数据，则进入下一步，否则跳至步骤S57；

S55：读取历史指标数据，并还原该数据的指标维度；

S56：进行新旧数据合并，更新数据库中的指标维度信息，并对合并之后的指标数据的维度信息进行映射，替换为维度信息的id；

S57：根据删除sql，删除对应的历史数据，同时插入新的指标数据；

S58：若所述指标计算信息MetricComputeMap遍历未结束，则跳转至步骤S51，继续指标的计算；否则结束ST时间段的指标计算，跳转至步骤S6。

3.根据权利要求2所述的大数据环境下的指标计算方法，其特征是，所述步骤S4的中间表计算包括以下步骤：

S41：遍历步骤S14所述中间表计算信息MidDataMap，获取中间表视图名MidDataViewName；

S42：根据中间表视图名，从云存储服务器拷贝中间表数据至内存；

S43：若有所述中间表数据，则创建视图；若无所述中间表数据，则执行中间表InitSql，构造所述中间表视图结构；

S44：执行deleteSql，删除ST时间段的中间表数据；

S45：执行computeSql，计算中间表数据，并重新创建所述中间表视图；

S46：利用Spark，上传数据至oss；

S47：若所述中间表计算信息MidDataMap遍历结束，则进入步骤S51；若所述中间表计算信息MidDataMap未遍历结束，返回步骤S41，继续计算事件数据。