[发明专利]一种数据处理方法及WiFi-IoT系统

说明书

本发明提供了一种数据处理方法及WiFi‑IoT系统，所述WiFi‑IoT系统包括数据采集器、消息队列、流框架Streaming和数据仓库，该数据处理方法包括：数据采集器接收网络设备发送的目标数据，并将目标数据发送到消息队列；流框架Streaming从消息队列获取目标数据，对目标数据进行数据转换和初步分析，并将分析结果保存到数据仓库中。本发明实现了WiFi‑IoT系统与网络设备之间数据的有效传输，WiFi‑IoT系统可以对第三方提供有力的数据分析支持。

技术领域

本发明涉及数据处理技术领域，更具体的，涉及一种数据处理方法及WiFi-IoT系统。

背景技术

在WiFi和物联网系统中，集成第三方数据及对第三方提供数据支持是非常重要的。

传统的数据集成方式是定义好REST API接口，然后通过GET、PUT、POST和DELET方式对REST API接口进行访问，实现对第三方数据的增删改查。

但是，由于WiFi和物联网系统中数据量一般非常多，且由于REST API接口本身工作机制的限值，难以通过REST API接口进行数据传递。同时第三方数据一般存储在专门的数据系统中，难以转成REST API接口要求的指定格式。可见，通过REST API接口难以实现集成第三方数据及对第三方提供数据支持。

发明内容

有鉴于此，本发明提供了一种数据处理方法及WiFi-IoT系统，实现了WiFi-IoT系统与网络设备之间数据的有效传输，WiFi-IoT系统可以对第三方提供有力的数据分析支持。

为了实现上述发明目的，本发明提供的具体技术方案如下：

一种数据处理方法，应用于WiFi-IoT系统，所述WiFi-IoT系统包括数据采集器、消息队列、流框架Streaming和数据仓库，所述方法包括：

所述数据采集器接收网络设备发送的目标数据，并将所述目标数据发送到所述消息队列；

所述流框架Streaming从所述消息队列获取所述目标数据，对所述目标数据进行数据转换和初步分析，并将分析结果保存到所述数据仓库中。

可选的，所述WiFi-IoT系统还包括浏览器、数据采集任务生成器、数据采集任务管理器和数据采集数据库，所述方法还包括：

所述浏览器在接收到用户的选择指令之后，将所述选择指令相对应的任务脚本和任务属性发送到所述数据采集任务生成器；

所述数据采集任务生成器依据所述任务脚本和所述任务属性生成数据采集任务，并将所述数据采集任务发送至所述数据采集任务管理器；

所述数据采集任务管理器将所述数据采集任务的相关数据存储在所述数据采集数据库中。

可选的，所述WiFi-IoT系统还包括分析模块，所述方法还包括：

所述数据采集任务生成器生成数据分析任务，并将所述数据分析任务发送至所述分析模块。

可选的，所述方法还包括：

所述分析模块根据所述数据分析任务，从所述数据仓库或第三方数据库中获取原始数据；

所述分析模块依据所述数据分析任务对所述原始数据进行数据分析，并将最终分析结果存储在所述数据采集数据库中。

可选的，所述方法还包括：

所述分析模块依据所述数据分析任务，将对所述原始数据进行数据分析过程中产生的中间数据写入所述数据仓库或所述第三方数据库中。

一种WiFi-IoT系统，包括数据采集器、消息队列、流框架Streaming和数据仓库；