[发明专利]一种数据采集方法及系统

说明书

本发明公开一种数据采集方法及系统，该方法包括如下步骤：获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；基于当前采集频率采集数据，并将数据上传，记录数据上传时间；对数据进行处理，并将处理后的数据输出，记录数据输出时间；基于数据上传时间与数据输出时间得到数据处理总时长；基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。在数据同步过程监控数据处理及传输延迟，并在设定的采集频率范围内，自适应调整采集频率，使业务在满足实时性的前提下，保证数据处理的最优质量。

技术领域

本发明涉及数据采集技术领域，具体是一种数据采集方法及系统。

背景技术

在工业互联网领域，数据采集是常见的应用场景之一，一般系统通过边缘设备对工厂设备进行数据采集，然后上发到服务器端进行处理和展示，而在某些业务场景中，业务对数据采集频率依赖度不敏感，但是对实时性要求比较高，例如设备温度监测曲线，在数据采集频繁时，业务数据处理和展示更精细，而在数据采集频率降低后，业务数据展示和处理质量会下降，但也不会导致业务处理失败，而在网络延时高或者服务器处理压力大时，过高的数据采集频率会导致数据处理延迟增加，例如回流炉温度不能实时显示而导致监测不及时，而在服务器闲时，低的采集频率会导致业务处理质量差，影响用户体验性。

而且现有的数据采集技术在同步数据时，不会考虑数据采集频率对数据处理性能和网络状况的影响，在网络状况差，仍在使用同样的频率做数据采集，导致网络状况差或服务器性能差时，数据量过大，使得网络或服务器负载更加严重，导致业务实时性受到严重影响。

发明内容

针对上述现有技术中的不足，本发明提供一种数据采集方法及系统，能够自适应调整采集频率，使业务在满足实时性的前提下，保证数据处理的最优质量。

为实现上述目的，本发明提供一种数据采集方法，包括如下步骤：

步骤1，获取数据采集的最高频率、最低频率与业务可接受延迟时长，选取最低频率与最高频率之间的任意一值作为当前采集频率；

步骤2，基于当前采集频率采集数据，并将数据上传，记录数据上传时间；

步骤3，对数据进行处理，并将处理后的数据输出，记录数据输出时间；

步骤4，基于数据上传时间与数据输出时间得到数据处理总时长；

步骤5，基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，并以最佳频率进行数据采集。

在其中一个实施例中，还包括：

步骤6，重复步骤2-步骤5，以实时调整数据采集的频率。

在其中一个实施例中，步骤5中，所述基于数据处理总时长、业务可接受延迟时长以及数据采集的最高频率、最低频率得到最佳频率，具体为：

式中，F为最佳频率，F_max为最高频率，F_min为最低频率，T为数据处理总时长，T_delay为业务可接受延迟时长。

在其中一个实施例中，若T≤T_delay时计算得到的FF_min，则令F＝F_min。

为实现上述目的，本发明还提供一种数据采集系统，包括云服务端与数据采集设备；

所述数据采集设备包括：

数据采集单元，用于以数据分析单元反馈的采集频率进行数据采集；

数据传输单元，用于将数据传输单元采集的数据上传至云服务端，并将数据上传时间犯反馈至数据分析单元；