[发明专利]游戏数据处理方法、系统及存储介质

说明书

本发明涉及一种游戏数据处理方法，包括以下步骤：S1.创建Mysql集群：通过分布式部署的方式在第一服务器集群上安装Mysql；S2.创建Kafka集群：在第一服务器集群上安装Kafka，根据业务需求，在第一服务器集群上创建与Mysql表对应的分片；S3.创建Elasticsearch集群：通过分布式部署方式在第二服务器集群上安装Elasticsearch，根据业务需求，创建对应的索引；S4.提供数据源脚本或者API接口，作为数据源的接入，写入Mysql集群；S5.使用Nginx作为负载均衡器，对数据源的请求通过负载均衡分发到Mysql集群上；S6.通过脚本从对应的Mysql集群服务器上读取Mysql数据源，将数据源进行封装。

技术领域

本发明涉及数据处理技术领域，更具体地，涉及一种基于Mysql、Kafka和Elasticsearch的游戏数据处理方法、系统及存储介质。

背景技术

目前，现有的游戏数据处理方法一般采用Mysql进行数据存储，以文件采集的方式对游戏数据进行采集，然后通过sql语句对游戏数据进行处理，这种方法主要存在以下缺点：

1、数据采集和处理能力受限于单台机器的性能，在高并发和大数据量的情况下，Mysql的性能可能会受到影响。

2、Mysql的扩展性存在一些限制，如单个表的数据量、并发连接数等限制，难以处理超大规模的游戏数据。

3、Mysql的存储空间占用较高，尤其是对于大量重复数据的情况下，需要进行额外的存储空间优化。

4、Mysql无法单独处理冷数据，只能删除处理，删除之后存储空间不会立即释放，需要额外进行表空间优化，数据量大的情况下，对表进行优化，容易引起业务无法访问数据表的问题。

发明内容

本发明的发明目的在于提供一种游戏数据处理方法，用于解决现有的技术方案无法处理高并发场景的技术问题。

为实现以上发明目的，采用的技术方案是：

游戏数据处理方法，包括以下步骤：

S1.创建Mysql集群：通过分布式部署的方式在第一服务器集群上安装Mysql；

S2.创建Kafka集群：在第一服务器集群上安装Kafka，根据业务需求，在第一服务器集群上创建与Mysql表对应的分片；

S3.创建Elasticsearch集群：通过分布式部署方式在第二服务器集群上安装Elasticsearch，根据业务需求，创建对应的索引；

S4.提供数据源脚本或者API接口，作为数据源的接入，写入Mysql集群；

S5.使用Nginx作为负载均衡器，对数据源的请求通过负载均衡分发到Mysql集群上；

S6.通过脚本从对应的Mysql集群服务器上读取Mysql数据源，将数据源进行封装；

S7.将封装好的数据源，通过Kafka的api发送至Kafka集群对应的topic中；

S8.Elasticsearch集群中的服务器，通过Kafka Consumer API消费Kafka消息队列中的数据；对于每个消费的消息，使用Elasticsearch Bulk API将其写入Elasticsearch索引中；

S9.使用Elasticsearch Index Templates定义Elasticsearch集群服务器的索引模板；使用自定义分词器通过Elasticsearch Search API配置Elasticsearch集群服务器的搜索策略；

S10.根据业务需求，Elasticsearch集群服务器编写对应的Elasticsearch脚本，对游戏数据进行分析和展示。