[发明专利]一种海量移动终端在线量统计方法和装置

说明书

本发明提供一种海量移动终端在线量统计方法和装置，其中方法包括：将存储服务器分别挂载到Hadoop分布式文件系统的主节点和从节点；对Hadoop分布式文件系统的接口进行设置，将存储在主节点和从节点的本地文件的路径保存在Hadoop分布式文件系统的计算平台的成员变量中，使得计算平台能够访问所述本地文件；采用计算平台的并行化计算对Hadoop分布式文件系统接收到的移动终端的心跳日志信息进行处理，进行移动终端在线量统计。本发明能够提高移动终端在线量统计的效率。

技术领域

本发明实施方式涉及通信技术领域，尤其涉及一种海量移动终端在线量统计方法和装置。

背景技术

随着移动互联网的发展以及智能手机和手上电脑等移动终端设备的普及，使得移动终端的数量骤增。各大硬件厂商所生产的移动终端硬件产品的市场使用率的统计信息，对于这些硬件厂商检测产品市场调查显得越来越重要，因此有必要对移动终端的在线量进行统计。

目前，移动终端的在线量统计通常采用：通过检测技术进行移动终端数量的累加；结构化查询语言(Structured Query Language，SQL)语句查询；多线程处理等方法。

在实施本发明的过程中，发明人发现现有技术至少存在如下问题：

移动终端心跳日志信息存储在特定存储服务器，并且数据量越来越大，若直接导入到Hadoop分布式文件系统(HDFS)中在进行MapReduce(一种编程模型，用于大规模数据集的并行运算)计算，当数据量特别大时，每天上传数据所消耗的时间是不可接受的。就算使用多线程和进程处理，对服务器处理的性能要求也需要特别高，而且计算时间也是比较长的。

应该注意，上面对技术背景的介绍只是为了方便对本发明的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本发明的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

针对上述问题，本发明实施方式的目的在于提供一种海量移动终端在线量统计方法和装置，能够提高移动终端在线量统计的效率。

为实现上述目的，本发明实施方式提供一种海量移动终端在线量统计方法，包括：将存储服务器分别挂载到Hadoop分布式文件系统的主节点和从节点；通过对Hadoop分布式文件系统的接口进行设置，将存储在主节点和从节点的本地文件的路径保存在Hadoop分布式文件系统的计算平台的成员变量中，使得计算平台能够访问所述本地文件；采用计算平台的并行化计算对Hadoop分布式文件系统接收到的移动终端的心跳日志信息进行处理，进行移动终端在线量统计。

进一步地，所述将存储服务器分别挂载到Hadoop分布式文件系统的主节点和从节点包括：将存储服务器中本地文件所在磁盘分别挂载到Hadoop分布式文件系统的主节点和从节点，且挂载路径相同。

进一步地，所述对Hadoop分布式文件系统的接口进行设置，将存储在主节点和从节点的本地文件的路径保存在Hadoop分布式文件系统的计算平台的成员变量中，使得计算平台能够访问所述本地文件，包括：在Hadoop分布式文件系统的计算平台MapReduce的映射类中重写接口，将存储在主节点和从节点的本地文件的路径保存在所述映射类的成员变量中，供映射类的成员函数使用，使得MapReduce能够访问所述本地文件。

进一步地，所述对Hadoop分布式文件系统接收到的移动终端的心跳日志信息进行处理包括映射阶段、合并阶段和归纳阶段，其中，对Hadoop分布式文件系统的接口进行设置，将移动终端的心跳日志信息的输入路径和输出路径设置为本地目录；在映射阶段提取Hadoop分布式文件系统接收到的移动终端的心跳日志信息中的终端设备ID，输出为(终端设备ID：1)；在合并阶段根据终端设备ID对映射阶段的输出进行合并，输出为(终端设备ID：(1,1,1))；在归纳阶段对合并阶段的输出进行去重和频率统计。