[发明专利]一种大数据运营分析系统

说明书

技术领域

本发明涉及移动大数据分析平台领域，具体涉及一种大数据运营分析系统。

背景技术

随着互联网以及大数据技术的快速发展，；利用大数据技术来经营运营平台的技术越来越成熟。但是还是存在一些用户量庞大运营平台，比如“移动营业厅”等，由于其数据量庞大，具体业务的种类繁杂，时间跨度也是非常大，那么就对平台的数据分析提出了更高的要求。因此需要一种系统能够适应上述的平台要求。

发明内容

1、所要解决的技术问题：

本发明提供一种大数据运营分析系统，适应与用户量庞大的平台，通过本系统平台能够控制数据采集范围、便于平台业务扩展、对离线数据与实时数据在不同的分析系统采用不同的分析方法，从而能够将海量的数据进行运算与分析。

2、技术方案：

一种大数据运营分析系统，其特征在于：包括日志插码采集模块、信息采集分发模块、任务调度模块、离线分析模块、实时分析模块与存储结果数据模块。

所述日志插码采集模块为采集用户在H5页面和APP上的必要日志信息。例如用户在登录网页平台时或者APP登录页面时，日志插码采集模块通过插码进入并采集该用户在本平台中的页面日志、环境日志、登入登出日志、心跳日志、充值日志等等数据。

所述信息采集分发模块接受数据源的数据；所述数据源的数据包括所述日志插码采集模块搜集到的日志文件、业务数据库的部分表格和其他来源的数据信息；所述信息采集分发模块按要求将收集到的数据信息分发到用于执行离线分析的数据仓库或者执行实时分析的分布式消息系统。

所述任务调度模块为支持业务开发人员用来提交、修改数据分析任务，及查看作业状态、是否正常执行的模块；本模块是实现具体业务与数据分析低耦合的重要模块。

所述离线分析模块离线分析主要用在处理时间跨度较大、数据量较大的场景，任务繁多、并且要循环执行，例如按日、按月的运营指标分析。当业务开发人员输入增加、修改的任务给所述任务调度模块，经过任务调度模块审核后将经过审核后的任务进入离线分析模块根据审核后的任务进行对应的数据分析与处理。

所述实时分析模块为对执行实时分析的分布式消息系统接收到的实时数据进行流式处理，及时获知最新的业务指标、变化趋势；并将处理的结构存储入结果集中。

所述存储结果数据模块为接收来自离线分析模块和实时分析模块的数据分析层的数据处理的结果并根据业务配置保存到相应的结果集中。

进一步地，所述信息采集分发模块中包括规则配置子模块；所述规则配置子模块根据模块内部预定的规则对数据进行基本的过滤，去重；

进一步地，业务开发人员将需要增加或修改的新的数据分析任务增加到所述任务调度模块，所述任务调度模块将执行新的数据分析任务到指定的操作，并将新的任务的最终结果数据写入结果集；同时用户能够通过任务管理模块查看已完成、待完成的任务状态，和查看或更新定时任务信息。

进一步地，所述任务调度模块提交新的任务到离线分析模块时，离线分析模块首先重新根据替换时间信息组装SQL语句，然后到执行离线数据分析；针对离线数据分析的返回结果，并将结果根据需要处理成业务需要的格式再保存到结果集。在上一段中的业务开发人员将需要增加或修改的新的数据分析任务增加到所述任务调度模块，所述任务调度模块将执行新的数据分析任务到指定的操作，这里的操作分为两类：离线数据分析与实时数据分析。本步骤就是针对当任务调度模块提交新的任务到离线分析模块时的处理步骤。

3、有益效果：

（1）本方法通过采用日志插码采集模块，能够通过配置服务器可控制采集范围、日志上传方式等，从源头上控制数据采集的方向性。

（2）本方法通过信息采集分发模块以及设置在信息采集分发模块中的规则配置子模块能够将采集上传的数据进行清洗、分发，进行初步数据过滤，如去重,支持对平台的业务规则配置，从而便于平台具体业务的扩展。

（3）本方法采用任务调度模块能够实现具体业务与数据分析低耦合。通过任务调度模块，开发人员可以增加数据分析任务，用户可以查看已完成、待完成的任务状态，和查看/更新作业定时任务等信息。

（4）本方法采用离线分析模块和实时分析模块对不同类型的数据进行处理。

附图说明

图1为本方法的框图；

图2为日志插码采集模块的业务流程图；

图3为信息采集分发模块的业务流程图；

图4为规则配置子模块的业务流程图；

图5为任务调度模块的业务流程图；