[发明专利]数据预处理方法、装置、设备和存储介质

说明书

本发明实施例公开了一种数据预处理方法、装置、设备和存储介质。所述方法包括：当日志分析任务程序启动时，定时从游戏数据库拉取预设时间段内的原始游戏日志；对所述原始游戏日志逐条进行分类得到分类游戏日志；将所述分类游戏日志进行分析，得到分类分析数据；将所述分类分析数据分组放入分析数据库中。以实现快速、低成本的提取所需数据结果的效果。

技术领域

本发明实施例涉及数据处理技术，尤其涉及一种数据预处理方法、装置、设备和存储介质。

背景技术

随着大数据时代的到来，数据的数量越来越多，那么数据的处理也就越来越复杂，尤其是在游戏运营中，如何简单、快速的将长期的大规模的数据提供给审计人员进行审核显得尤为重要。

当公司需要财务内审或者外部审计时，一般会需要核查较长时间(超过半年)的游戏运营数据，原有技术是一次性拉取所需要区间的所有运营数据，然后筛选所需的部分数据，最后统一处理后输出。

上述的方法，每次从数据库拉取完整日志需要大量的带宽和硬件资源，不同需求都需要进行类似的预处理阶段进行数据清洗，效率低下。

发明内容

本发明实施例提供一种数据预处理方法、装置、设备和存储介质，以实现快速、低成本的提取所需数据结果的效果。

第一方面，本发明实施例提供了一种数据预处理方法，该方法包括：

当日志分析任务程序启动时，定时从游戏数据库拉取预设时间段内的原始游戏日志；

对所述原始游戏日志逐条进行分类得到分类游戏日志；

将所述分类游戏日志进行分析，得到分类分析数据；

将所述分类分析数据分组放入分析数据库中。

第二方面，本发明实施例还提供了一种数据预处理装置，该装置包括：

原始游戏日志获取模块，用于当日志分析任务程序启动时，定时从游戏数据库拉取预设时间段内的原始游戏日志；

分类游戏日志获取模块，用于对所述原始游戏日志逐条进行分类得到分类游戏日志；

分类分析数据获取模块，用于将所述分类游戏日志进行分析，得到分类分析数据；

分类分析数据放入模块，用于将所述分类分析数据分组放入分析数据库中。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例中任一所述的数据预处理方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行本发明实施例中任一所述的数据预处理方法。

本发明实施例的技术方案，通过当日志分析任务程序启动时，定时从游戏数据库拉取预设时间段内的原始游戏日志；对所述原始游戏日志逐条进行分类得到分类游戏日志；将所述分类游戏日志进行分析，得到分类分析数据；将所述分类分析数据分组放入分析数据库中。实现快速、低成本的提取所需数据结果的效果。

附图说明

图1是本发明实施例一中的一种数据预处理方法的流程图；

图2是本发明实施例一中的对原始游戏日志进行预处理的示意图；

图3是本发明实施例二中的一种数据预处理方法的流程图；