[发明专利]一种大数据运营分析系统

摘要

本方法涉及一种大数据运营分析系统，包括日志插码采集模块采集用户必要日志信息。信息采集分发模块接受数据源的数据，按要求将数据信息分发到用于执行离线分析的数据仓库或者执行实时分析的分布式消息系统。任务调度模块为业务开发人员用来提交修改数据分析任务查看作业状态是否正常执行的模块。离线分析模块离线分析主要用在处理时间跨度、数据量较大的场景的运营指标分析。实时分析模块为对执行实时分析的分布式消息系统接收到的实时数据进行流式处理及时获知最新的业务指标变化趋势，将处理的结构存储入结果集。存储结果数据模块为接收来自离线分析模块和实时分析模块的数据分析层的数据处理的结果并根据业务配置保存到相应的结果集中。

主权项

一种大数据运营分析系统，其特征在于：包括日志插码采集模块、 信息采集分发模块、任务调度模块、离线分析模块、实时分析模块与存储结果数据模块；所述日志插码采集模块为采集用户在H5页面和APP上的必要日志信息；所述信息采集分发模块接受数据源的数据；所述数据源的数据包括所述日志插码采集模块搜集到的日志文件、业务数据库的部分表格和其他来源的数据信息；所述信息采集分发模块按要求将收集到的数据信息分发到用于执行离线分析的数据仓库或者执行实时分析的分布式消息系统；所述任务调度模块为支持业务开发人员用来提交、修改数据分析任务，及查看作业状态、是否正常执行的模块；本模块是实现具体业务与数据分析低耦合的重要模块；所述离线分析模块离线分析主要用在处理时间跨度较大、数据量较大的场景，任务繁多、并且要循环执行，例如按日、按月的运营指标分析；所述实时分析模块为对执行实时分析的分布式消息系统接收到的实时数据进行流式处理，及时获知最新的业务指标、变化趋势；并将处理的结构存储入结果集中；所述存储结果数据模块为接收来自离线分析模块和实时分析模块的数据分析层的数据处理的结果并根据业务配置保存到相应的结果集中。