[发明专利]一种数据采集速度控制方法、设备及存储介质

说明书

本发明公开了一种数据采集速度控制方法、设备及存储介质，所述数据采集速度控制方法包括：采集数据源数据，请求将数据写入系统暂存存储器；根据数据写入是否成功的判断结果和暂存存储器的使用容量，调整系统在两次数据采集之间的休眠时间。所述设备及存储介质实现上述数据采集速度控制方法的步骤。本发明根据数据写入和暂存存储器的使用容量等不同状态而采用不同的休眠策略，可以确保整个数据采集过程的平稳进行，避免因为采集频率突然增加或者突然降低，对整个采集过程的稳定性产生冲击。

技术领域

本发明涉及数据采集领域，具体涉及一种数据采集速度控制方法、设备及存储介质。

背景技术

在大数据时代，Flume等数据采集工具已成为数据采集的主要方式。Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。作为一个优秀的数据采集工具，Flume可以应用于多个场景，其中，Agent进程是一种独立的进程，包含Source、Channel、Sink组件，Source是Flume中获取数据的组件，并将数据写入到Channel中，Channel是一个被动的存储器，负责暂存由Source发送过来的数据，Sink负责消费Channel中的数据，发送到对应的目的地。图1为Flume采集数据的架构，Source可以从日志文件、网络端口、Kafka等多种数据源采集数据，封装成Event(Flume中传输数据的最小单位)，写入Channel。数据成功写入到Channel中后，Sink会从Channel中主动拉取数据写入到HDFS、HBase、Hive、ES等多种大数据组件中。Source、Sink、Channel三大模块共同构成了一个Agent进程，Source与Sink作为Agent进程中的两个线程，分别负责从数据源获取数据和将数据写入目的地。

在现有的数据写入流程中，由于网络故障、主机负载过高、目的端组件处理速度过慢等原因，会导致Sink写入数据缓慢或者在一段时间内无法写入数据，而Source在采集数据的速度并不会因此发生改变，导致在Channel中积压大量数据。当Channel中存储的数据达到设置的最大值时，Source将无法向Channel写入数据，从而不断地按照固定的时间进行重试，占用主机计算资源，增加本主机负载。而且，由于Channel中积压了大量的数据，也会占用大量的存储资源，无法得到释放。

发明内容

为了解决上述技术问题，本发明提出了一种数据采集速度控制方法、设备及存储介质，通过主动改变数据采集的频率，确保数据采集过程平稳进行，避免采集频率突然增加或降低，影响数据采集的稳定性。

为实现上述目的，本发明采用以下技术方案：

一种数据采集速度控制方法，包括：

采集数据源数据，请求将数据写入系统暂存存储器；

根据数据写入是否成功的判断结果和暂存存储器的使用容量，调整系统在两次数据采集之间的休眠时间。

进一步地，采集数据之前，配置定义数据采集的最大休眠时间和最小休眠时间。

进一步地，当数据写入失败时，执行写入失败休眠策略：

获取当前的数据采集休眠时间，如果当前休眠时间为数据采集最大休眠时间，返回最大休眠时间；

如果当前休眠时间不是最大休眠时间，设置新休眠时间为当前休眠时间的两倍；

如果新休眠时间大于最大休眠时间，返回最大休眠时间；

如果新休眠时间不大于最大休眠时间，返回新休眠时间。

进一步地，当数据写入成功且暂存存储器使用容量为0-60％时，执行缓存充足休眠策略：

获取当前的数据采集休眠时间，如果当前休眠时间为数据采集最小休眠时间，返回最小休眠时间；