[发明专利]数据通道调节方法、装置、设备及介质

说明书

本发明实施例公开了一种数据通道调节方法、装置、设备及介质，该方法包括：获取数据通道被清除的速度和数据通道被写入的速度；根据数据通道被清除的速度和数据通道被写入的速度，判断是否需要增加数据通道的数量；根据判断结果，调节数据通道的数量，以保持数据通道的大小不变。根据本发明实施例提供的技术方案，可以调节数据通道的数量，保持数据通道的大小不变，防止数据通道填满导致的数据丢失。

技术领域

本发明涉及通信技术领域，尤其涉及一种数据通道调节方法、装置、设备及介质。

背景技术

Flume是一个高可用、高可靠、分布式的海量日志采集、聚合及传输的系统，它能将不同的海量数据收集，移动并存储到一个数据存储系统中。Flume具有如下特点：轻量、配置简单、适用于各种日志收集存储分析，同时可以提供对数据进行简单处理，并支持写到各种数据接受方的能力。

Flume以Agent为最小的独立运行单位，一个Agent就是一个JVM(Java虚拟机)。

其中，单个Agent(代理)由source(数据源)、channel(数据通道)、sink(数据汇聚点)三大组件构成。

但是，Flume无现有的扩展方案，在上线时根据系统的具体配置对flume做具体配置上的适当修改。

现有flume组件自动扩展技术主要存在以下缺陷：

1)如日志连接超时信息剧增，flume sink清理channel缓冲区不够快。

2)如日志并无超时信息，channel清除的速度够快，channel大小不断增加。

3)如agent失败，最终的目的地变得不可达，agent会在sink看到错误的位置写入数据，会存在sink连接失败、存储系统的确认字符(ack，Acknowledgement)丢失、客户端应用程序接口(Application Programming Interface，API)抛出异常。表明数据可能没有被写入，sink利用channel回滚事物。因为传入的数据流并没有停止，这导致channel大小增加。如agent的channel被填满，source开始在channel的put(推送)操作得到channelexceptions异常，通过返回一个错误导致source回退到前一阶段。进而导致前一阶段的sink回滚得到事物，导致那个阶段的channel大小增长。失败会导致每一层都缓冲数据，直到channel填满，必须通过缓冲数据或删除数据进行处理，从而导致数据丢失。

综上所述，在大数据时代背景下，企业对数据的可用性、准确性及完整性的要求越来越高，上面几种方式所展现的缺点及弊端是不可接受的。

发明内容

本发明实施例提供了一种数据通道调节方法、装置、设备及介质，可以调节数据通道的数量，保持数据通道的大小不变，防止数据通道填满导致的数据丢失。

第一方面，本发明实施例提供了一种数据通道调节方法，方法包括：

获取数据通道被清除的速度和所述数据通道被写入的速度；

根据所述数据通道被清除的速度和所述数据通道被写入的速度，判断是否需要增加所述数据通道的数量；

根据判断结果，调节所述数据通道的数量，以保持所述数据通道的大小不变。

根据本发明所述的数据通道调节方法，当所述数据通道被清除的速度小于所述数据通道被写入的速度时，判断是否需要增加所述数据通道的数量；

其中，所述判断是否需要增加所述数据通道的数量，包括：

根据单个数据通道允许的最大容量和所述数据通道的数量，获取分布式数据采集聚合传输系统允许的最大容量；