[发明专利]移动终端大数据处理方法、装置及存储介质

权利要求书

1.一种移动终端大数据处理方法，其特征在于，基于移动终端大数据架构实现，所述架构包括传输层、存储层、处理层和展示层，所述传输层、存储层、处理层和展示层依次相连；

所述传输层，采用Flume作为收集器，以及采用Kafka作为传输器，其中Flume是分布式的海量日志采集、聚合和传输的系统，Kafka为开源流处理平台，是一种高吞吐量的分布式发布订阅消息系统，能够处理消费者规模的网站中的所有动作流数据，通过Flume收集移动终端数据，并通过Kafka流处理平台上传；

所述存储层，接收Kafka上传的移动终端数据，这些数据能够通过处理层的Spark进行实时处理，也能够根据应用需求，选择存储系统存储移动终端数据，具体如下：

热存储系统：若存在访问频率大于或等于第一频率阈值的数据，即这类数据是频繁访问的数据，则选择热存储系统存储，这类数据会直接从原始数据中处理或者提取，而且能够在网页接口中访问；

温存储系统：若存在访问频率小于第一频率阈值，且大于或等于第二频率阈值的数据，即这类数据是不太频繁被访问的数据，则选择温存储系统存储，这类数据主要通过Hadoop分布式文件系统HDFS实现；

冷存储系统：若存在访问频率小于第二频率阈值的数据，即这类数据是不活跃的数据，则选择冷存储系统存储；

所述处理层，在收集和存储移动终端数据后，使用Apache Hadoop 和 Spark来处理移动终端数据，Hadoop提供了分布式数据存储HDFS和处理框架MapReduce，Spark为大规模数据处理而设计的快速通用的计算引擎，能够对数据进行流处理，处理框架MapReduce能够对数据进行批量处理；

所述展示层，用于展示处理后的移动终端数据；

所述方法包括：

通过存储层接收流处理平台上传的移动终端数据，并根据应用需求，选择存储系统存储移动终端数据；

通过处理层获取移动终端数据，并利用计算引擎和处理框架对移动终端数据进行处理；

所述利用计算引擎和处理框架对移动终端数据进行处理，具体包括：

流层统计：根据流的数量、持续时间、字节、用户数量以及时间/空间动态包，对流量数据进行分析；

应用层统计：从移动数据流量用户的角度，对移动终端应用完成各个子任务的相关数据进行采集和分析，所述移动终端应用为本地网络下的基于HTTP的移动终端应用，各个子任务的相关数据包括时间数据以及与应用、场景有关的数据；

用户层分析：对移动终端用户的行为进行分析，所述用户的行为包括网上浏览行为和线下移动行为。

2.根据权利要求1所述的移动终端大数据处理方法，其特征在于，所述架构还包括数据管理中心、权限管理中心和集群管理中心；

所述数据管理中心，用于通过得到文件的使用率，从而保证数据的安全和集群的健康；

所述权限管理中心，用于对不同的用户组提供了多种权限以保障架构安全；

所述集群管理中心包括收集模块、警示模块和调试模块；

所述收集模块，用于收集性能信息和警示数据；

所述警示模块，用于若存在性能信息超过管理员预设的阈值，则将警示消息发送给管理员；

所述调试模块，用于管理和调试机器、服务和软件。