[发明专利]一种时序数据的采集传输方法和装置及系统

说明书

本发明公开了一种时序数据的采集传输方法和装置及系统，属于时序数据传输领域，在获取设备的原始数据后，根据原始数据计算原始数据对应的设备的指标数据；然后将预设数量的设备的指标数据存储到第一存储模块；最后将第一存储模块内的指标数据传输到时序数据库内。传输到时间数据内的由原始数据变为指标数据，需要传输的数据量大大减少。同时，将多个设备的指标数据存入同一第一存储模块，最后需要与时序数据库建立的连接大大减少。通过这种方式，需要传输的数据量小，网络连接并发压力小，提高了时序数据传输能力，时序数据传输所需时间较短。

技术领域

本发明涉及时序数据传输技术，特别地，涉及一种时序数据的采集传输方法和装置及系统。

背景技术

时序数据是基于时间的一系列数据。在有时间的坐标中将这些数据点连成线，做成多维度历史报表，展现数据指标的趋势和规律，可以做大数据分析、机器学习、预测预警。时序数据库就是存放时序数据的数据库，并且需要支持时序数据的快速写入、持久化、多维度的聚合查询等基本功能。时序数据库为了解决海量数据场景而设计的，已经成为物联网方向一个非常重要的服务。

时序数据库目前主流做法是时序数据库定期直接采样在设备端的导出采集模块的指标数据，但是设备越多，网络连接并发数量越大，采集数据量越大，持续的高并发上报，对网络会造成较大的压力；同时每个导出采集模块与时序数据库建立连接都要花费一定时间，当设备较多时，时序数据传输所需时间较短。

发明内容

为了克服现有技术的不足，本发明提供一种网络并发压力小，时序数据传输时间短的时序数据的采集传输方法和装置及系统。

本发明解决其技术问题所采用的技术方案是：

第一方面，

一种时序数据的采集传输方法，包括以下步骤：

获取任一设备的原始数据；

根据所述原始数据计算所述原始数据对应的设备的指标数据；

将预设数量的设备的指标数据存储到第一存储模块；

将所述指标数据传输到所述时序数据库内。

进一步地，将所述指标数据传输到所述时序数据库内包括：

将预设数量的第一存储模块内的指标数据进行至少一次聚合存储到第二存储模块；

将所述第二存储模块与所述时序数据库建立连接；

将所述第二存储模块的指标数据传输到所述时序数据库内。

进一步地，将预设数量的第一存储模块内的指标数据进行聚合存储到第二存储模块包括：

将所述第一存储模块内的指标数据以表格的形式存储到所述第二存储模块中。

进一步地，所述表格采用哈希表，哈希表中key为设备id；value为对应设备的指标数据。

进一步地，所述将所述第二存储模块的指标数据传输到所述时序数据库内包括：

将所述第二存储模块的指标数据定时上传给所述时序数据库；或者，

所述时序数据库定期读取第二存储模块的指标数据。

第二方面，

一种时序数据的采集传输装置，包括：

原始数据获取单元，用于获取任一设备的原始数据；

指标数据计算单元，用于根据所述原始数据计算所述原始数据对应的设备的指标数据；

指标数据存储单元，用于将预设数量的设备的指标数据存储到第一存储模块；