[发明专利]一种将硬件数据直接接入大数据平台的方法

说明书

本发明公开一种将硬件数据直接接入大数据平台的方法，其包括：采集硬件设备数据发送至物联网计算网关；物联网计算网关对所采集的数据进行边缘计算，按照变化情况压缩高频次重复数据，并计算得到预测、报警数据；将边缘计算后数据及预测、报警数据提交分布式架构的大数据数仓，实现采集数据实时入仓。本发明基于ARM架构物联网计算网关对前端采集数据压缩和计算的整体架构，降低了对云服务器的依赖，减少了服务器开销，且响应快，可靠性高。本发明在前端苛刻环境下实现基于人工智能的多维信息预测及分布式数仓的部署，解决基于X86架构电脑无法满足前端苛刻环境以及服务器集中计算造成的计算队列过长、无法及时预测、数仓无法离散分布的问题。

技术领域

本发明涉及大数据下的工业物联网技术领域，尤其涉及一种将智慧城市涉及的底层传感器、控制器硬件数据直接接入大数据平台的方法。

背景技术

物联网是通过信息传感设备，按约定的协议把物品与互联网连接起来进行信息交换和通讯，以实现智能化识别、定位、跟踪、监控和管理的一种物物相连的网络。

随着智慧城市的发展需要，如何采集、控制城市级上百万硬件设备，需要一整套分布式大数据采集节点及大数据采集协议的整合解决方案。

随着人工智能技术的发展，结合物联网技术能够多维信息的复杂预测，但目前通过物联网获取的大量数据均需要通过云服务器计算处理和存储，这就大大增加了云服务器的处理压力和存储压力，服务器开销巨大，并且如果出现网络故障，则会造成数据丢失，系统也无法及时响应，可靠性差。

发明内容

针对上述技术问题，本发明实施例提供了一种将硬件数据直接接入大数据平台的方法，其方案具体如下：

一种将硬件数据直接接入大数据平台的方法，其中，所述方法包括：

采集硬件设备数据并发送至物联网计算网关；

通过物联网计算网关对所采集的数据进行边缘计算，将高频次重复数据按照变化情况进行压缩，并通过物联网计算网关计算得到预测数据和报警数据；

将边缘计算后的数据及预测数据和报警数据直接提交分布式架构的大数据数仓，实现大规模采集数据实时入仓。

所述的将硬件数据直接接入大数据平台的方法，其中，所述物联网计算网关为基于ARM架构的物联网计算网关。

所述的将硬件数据直接接入大数据平台的方法，其中，所述采集硬件设备数据并发送至物联网计算网关具体为：

通过传感器设备采集应用系统中各硬件设备的原始信号，进而通过PLC、采集器或通讯管理机将原始信号转换为标准格式数据并发送至基于ARM架构的物联网计算网关。

所述的将硬件数据直接接入大数据平台的方法，其中，所述应用系统包括电力、水利、燃气、地质、交通和安防等系统。

所述的将硬件数据直接接入大数据平台的方法，其中，通过物联网计算网关对所采集的数据进行边缘计算，将高频次重复数据按照变化情况进行压缩具体为：

通过物联网计算网关对所采集的数据进行边缘计算，计算前后两次所采集数据变化是否在预设偏差范围内，若是，则进行数据合并将按照预设降频参数上报数据。

所述的将硬件数据直接接入大数据平台的方法，其中，通过物联网计算网关计算得到预测数据和报警数据具体为：

对规则判定类预测、报警进行计算；

在基于ARM架构物联网计算网关上部署人工智能算法，进行基于人工智能的多维数据预测、报警及图像识别预测、报警。

所述的将硬件数据直接接入大数据平台的方法，其中，所述对规则判定类预测、报警进行计算具体为：