[发明专利]移动设备信息采集系统

说明书

技术领域

本发明涉及大数据领域，具体涉及移动设备信息采集系统。

背景技术

在目前的移动互联网风靡全球的大时代背景下，移动互联网依靠的终端设备之一的Android智能手机，每天产生了海量的含有大量待挖掘的信息数据。移动互联网企业通过这些信息数据，可以为产品在线上运营的情况提供可靠分析，从而了解产品线上情况，制定产品开发方向提供有力支撑。那么，如何采集数据，如何进行数据的初步存储是每一个移动互联网企业所关心的重点所在。目前的移动信息设备采集系统如“友盟统计”，具有很强的本地数据分析能力与定制化的数据采集方案。但其不对外提供原始数据接入接口，配制定制化流程较为繁琐。

比较当前的移动设备信息采集系统，本发明具有可通用的数据采集方案、可定制化的数据结构模式及方便快速的数据存储平台，可以有效提高企业的数据分析能力，缩短开发流程，节省人力物力，从而为企业提供一份快速、可靠的决策参考。

发明内容

本发明的目的在于提供移动设备信息采集系统，可以顺应移动互联网时代的大数据挖掘需求痛点，让信息数据能够快速流通起来，并将数据存储于通用的大数据组件中，以提供快速、高吞吐量的接口用于大数据挖掘与分析。

为实现上述目的，本发明采取的技术方案是：

移动设备信息采集系统，它包括数据采集模块、数据接入与存储模块和配置管理模块，所述数据采集模块负责获取移动设备的原始数据，所述数据接入与存储模块负责采集数据的接收与存储，所述配置管理模块负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。

优选地，所述数据采集模块具体包括数据传输模块和数据获取模块。

优选地，所述数据接入与存储模块具体包括数据库、原始数据网络接入服务、数据预处理和数据存储模块。

优选地，所述配置管理模块具体包括配置同步服务和WEB管理服务。

优选地，所述数据获取模块将采集的数据发送至数据传输模块，所述数据传输模块与原始数据网络接入服务的接口形成互连。

优选地，所述原始数据网络接入服务通过数据预处理将数据存储于数据存储模块中。

优选地，所述数据库仅存储数据的配置信息，并通过WEB管理服务和配置同步服务进行WEB管理，并提供数据查询和计算的接口。

本发明的特点在于：1）可以基于配置信息实现对采集数据信息的结构化；2）针对不同类型的数据，可以通过定制化字段来采集相应数据；3）可以初步控制数据采集信息上传的频率；4）可以实现数据在服务端存储的完整性与可用性；5）可使系统具有良好的扩展性。

附图说明

图1是本发明的系统结构示意图。

图2是本发明的数据缓存基本时序图。

图3是本发明的上传时序图。

图4是本发明的数据传输控制流程图。

具体实施方式

下面结合附图对本发明作进一步地描述。

如图1所示，本发明为移动设备信息采集系统，它包括数据采集模块、数据接入与存储模块和配置管理模块，所述数据采集模块负责获取移动设备的原始数据，所述数据接入与存储模块负责采集数据的接收与存储，所述配置管理模块负责定义数据采集配置信息，提供图形化的管理功能，并通过同步服务将修改的合法配置更新至数据库。所述数据采集模块具体包括数据传输模块和数据获取模块。所述数据接入与存储模块具体包括数据库、原始数据网络接入服务、数据预处理和数据存储模块。所述配置管理模块具体包括配置同步服务和WEB管理服务。所述数据获取模块将采集的数据发送至数据传输模块，所述数据传输模块与原始数据网络接入服务的接口形成互连。所述原始数据网络接入服务通过数据预处理将数据存储于数据存储模块中。所述数据库仅存储数据的配置信息，并通过WEB管理服务和配置同步服务进行WEB管理，并提供数据查询和计算的接口。

优选地，对于配置管理模块，该模块定义了数据采集配置信息，包含了数据结构定义与上传频率。WEB管理服务中提供了图形化的管理功能，在WEB管理服务新增或者修改成功的合法配置数据将经由配置同步服务更新到数据库。

优选地，对于数据接入与存储模块，原始数据网络接入服务监听配置同步服务更新状态。一旦配置数据更新状态改变，则热切换配置数据。由原始数据网络接入服务接收到的数据，将先通过数据预处理模块作初步清洗，清洗后的数据最终由数据存储模块存入到Kafka中。