[发明专利]基于SPARK技术的移动终端数据流处理方法及系统

权利要求书

1.基于SPARK技术的移动终端数据流处理方法，其特征在于，

接收移动终端集群侧发送的数据报文；

对接收到的数据报文进行解码，并将解码后的数据流作为数据源发送至SPARK大数据计算集群；

SPARK大数据计算集群采用SPARK技术对解码后的数据流进行数据分析处理和提取，以供后续调用；具体包括:通过SPARK STREAMING组件将数据综合处理模块处理后的数据源切分成多个BATCH块，再由SPARK ENGINE组件将所述BATCH块进行数据分析处理和提取，以供后续调用；

所述移动终端集群侧发送的数据报文是按照用户自定义报文格式整理获得，所述用户自定义报文格式是根据用户在移动终端系统设置界面中选择不同系统预设的内容选项拼接获得，具体包括：

所述移动终端被构造为包括UI模块、业务处理模块、数据代理模块和数据库模块，其中，UI模块配置有系统设置界面，业务处理模块配置有多个逻辑接口和多个硬件单元，数据代理模块配置有数据综合处理单元和数据上报代理单元；

用户通过UI模块与移动终端进行交互，UI模块下发的AT指令至业务处理模块；业务处理模块接收UI模块下发的AT指令，通过逻辑接口实现业务处理和硬件单元的监控，并将此次用户动作数据所形成的运行日志保存至数据库模块；数据代理模块中的数据综合处理单元根据用户在UI模块中的系统设置界面中自定义选取的不同内容选项拼接成不同内容格式的用户动作数据报文，并由数据上报代理单元将处理完成的报文发送至后台数据服务中心侧；其中，内容选项包括硬件模块名称和软件运行日志。

2.如权利要求1所述的移动终端数据流处理方法，其特征在于，还包括对接收到的数据报文进行完整性判断，若完整，则将此数据报文在本地进行缓存以待解码。

3.如权利要求2所述的移动终端数据流处理方法，其特征在于，若判断数据报文不完整，则丢弃该报文。

4.如权利要求1所述的移动终端数据流处理方法，其特征在于，按照协议对接收到的数据报文进行解码，协议中设定了报文内容的编码规则和解码规则。

5.如权利要求1所述的移动终端数据流处理方法，其特征在于，后续调用包括前端展示和/或数据库存储。

6.如权利要求1所述的移动终端数据流处理方法，其特征在于，自定义报文格式形成的方法如下：

在移动终端系统设置界面中遍历与终端硬件模块和终端软件模块相关的关键字，用户根据需求选取并记录自己关心的关键字；

将获取到的与用户动作数据相关的关键字和用户选取并记录下来的关键字进行匹配，若匹配一致，则添加作为报文格式内容，若匹配不一致，则不做处理。

7.基于SPARK技术的移动终端数据流处理系统，应用于移动终端集群侧向数据服务中心侧发送的数据流的处理，其特征在于，数据服务中心包括：

数据综合处理模块，配置有数据缓存单元、报文解析单元、报文发送单元，数据缓存单元接收移动终端集群侧发送的报文格式数据并进行存储，报文解析单元对接收到的报文格式数据进行解析，报文发送单元将解析后的数据作为数据源发送至

SPARK大数据计算集群；

SPARK大数据计算集群，基于SPARK技术对接收到的数据源进行数据分析处理，并将提取的有价值的数据提供给数据前端展示模块和/或数据库存储模块进行调用；具体包括:通过SPARK STREAMING组件将数据综合处理模块处理后的数据源切分成多个BATCH块，再由SPARK ENGINE组件将所述BATCH块进行数据分析处理和提取；

数据前端展示模块，用于向用户直观展示SPARK大数据计算集群发送的有价值的数据；

数据库存储模块，用于存储SPARK大数据计算集群发送的有价值的数据及数据服务中心的运行日志数据；

移动终端集群侧的移动终端内置的应用软件配置有以下程序模块：

UI模块，用于人机交互操作，其包括系统设置界面；

业务处理模块，配置有多个逻辑接口和多个硬件单元，用于接收UI模块下发的AT指令，该指令经逻辑接口调用后完成对硬件单元参数的设置，并同时将此次硬件单元设置过程的用户动作数据上报至数据代理模块和数据库模块；

数据代理模块，配置有数据综合处理单元和数据上报代理单元，数据综合处理单元记录用户动作数据，并按照用户自定义报文格式整理成用户动作数据报文，数据上报代理模块将整理完成的用户动作数据报文发送至数据服务中心侧；所述用户自定义报文格式是根据用户在系统设置界面中选择的不同系统预设的内容选项拼接获得，其中，内容选项包括硬件模块名称和软件运行日志；数据库模块，用于存储用户动作数据所对应的移动终端运行日志，所述日志的内容包括移动终端的硬件模块和软件运行日志，其中，软件运行日志包括系统软件本身运行的日志和用户对移动终端的动作数据。