[发明专利]基于分布式通信的数据分析方法及系统

说明书

技术领域

本发明涉及通信领域，特别是涉及一种基于分布式通信的数据分析方法及系统。

背景技术

现如今互联网性能逐渐更新换代的今天。数据量成几何倍数逐年增长，基于数据的服务器质量判断，变得更加的细致化。同时也要求数据分析服务器的要求也十分的高，否则在这样的数据量下也无法挖掘价值。

一直以来单机游戏计费产生的数据量十分巨大，这些数据包含了用户行为数据，用户买点数据，运营商支付回调数据等等，少则一天单点几十万的请求数据，多则上百万的独立数据。根据现近的移动互联网趋势下的风向，单机游戏更偏向休闲模式，数据并发呈现不规则形式。这样，便对于服务器的质量考核十分的重要，目前市场上对于通道分析主要还是采用数据库存贮数据，进行取数据运算分析的方式。

上述采用数据库储存数据，并进行取数据的分析方式面对大数据量的时候，进行数据分析时，会出现服务器资源过度浪费，效能低下的问题。无法有效充分的利用资源完成大型数据的分析挖掘，甚至当服务器性能不足时，会使得服务器直接卡死。

发明内容

基于此，有必要针对上述当分析较大的数据时，服务器资源过度浪费，效能低下的问题，提供一种能够有效地利用服务器利用效率的基于分布式通信的数据分析方法及系统。

一种基于分布式通道的数据分析方法，包括以下步骤：

初始数据流入时，在工作服务器上生成对应于该初始数据的日志；

将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；

将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。

在其中一个优选实施方式中，在所述初始数据流入时，在工作服务器上生成对应于该初始数据的日志的步骤中，还包括以下步骤：

判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。

在其中一个优选实施方式中，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述对应于该初始数据的日志通过RPC通信传输至分析服务器。

在其中一个优选实施方式中，在将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据的步骤中，所述分析服务器对该日志进行数据分析及优化包括：

对日志进行数据解析、数据去重、数据概率计算。

在其中一个优选实施方式中，在将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执的步骤之前，包括：

对优化数据进行备份。

上述基于分布式通信的数据分析方法利用将数据由工作服务器形成日志，并将该日志传输至上述分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。

一种基于分布式通信的数据分析系统，包括：

日志生成模块，用于当初始数据流入时，在工作服务器上生成对应于该初始数据的日志；

日志分析模块，用于将对应于该初始数据的日志传输至分析服务器，由所述分析服务器对该日志进行数据分析及优化，以得到优化数据；

数据插入模块，用于将该优化数据插入数据库中，并当优化数据完成插入后，向所述工作服务器发送回执。

在其中一个优选实施方式中，所述日志生成模块包括：

判断单元，用于判断所述初始数据是否大于阈值时，生成对应于该初始数据的日志。

在其中一个优选实施方式中，所述日志分析模块将对应于该初始数据的日志通过RPC通信传输至分析服务器。

在其中一个优选实施方式中，所述日志分析模块可对日志进行数据解析、数据去重、数据概率计算。

在其中一个优选实施方式中，所述基于分布式通信的数据分析系统还包括：

备份单元，用于对所述优化数据进行备份。

上述基于分布式通信的数据分析系统利用日志生成模块在工作服务器形成日志，并日志分析模块将该日志传输至分析服务器，由该分析服务器对该日志进行分析处理，得到优化数据，这样可有效地提升上述工作服务器的工作效率。

附图说明

图1为本发明一优选实施方式中的基于分布式通信的数据分析方法的流程图；

图2为本发明另一优选实施方式中的基于分布式通信的数据分析系统的模块图。

具体实施方式