[发明专利]数据传输方法及装置

说明书

本发明公开了一种数据传输方法及装置，涉及信息技术领域，解决了现有技术中日志数据传输效率较低和速度较慢的问题。本发明的主要技术方案为：实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从所述源服务器中获取的日志数据；检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。本发明适用于数据传输。

技术领域

本发明涉及信息技术领域，尤其涉及一种数据传输方法及装置。

背景技术

随着信息技术的不断发展，日志采集系统随之出现，如Flume，Flume是一种高可用的，高可靠的，分布式的海量日志采集、聚合和传输系统。日志采集系统通常从源服务器中获取日志数据，然后将日志数据传输给目标服务器，其中，源服务器可以用于记录日志数据，目标服务器可以用于对日志数据进行分析或者备份。为了保证日志数据能够成功传输到目标服务器，日志采集系统通常将从源服务器中获取的日志数据保存到中间传输通道上，然后将从中间传输通道获取的日志数据传输给目标服务器。

目前，在进行数据传输时，通常将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中。然而，内存传输通道和磁盘传输通道为不同的传输通道，若将日志数据保存到内存传输通道并将内存传输通道溢出的日志数据保存到磁盘传输通道中，会造成日志数据二次保存，造成日志数据传输效率较低。此外，将数据保存到磁盘传输通道的速度较慢，造成日志数据传输的速度较慢。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的数据传输方法及装置。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据传输方法，所述方法包括：

实时监控用户设置的预置内存传输通道的数据容量阈值，并根据所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

若是，则停止从所述源服务器中获取日志数据并将所述预置内存传输通道中的日志数据传输给目标服务器。

另一方面，本发明提供了一种数据传输装置，所述装置包括：

监控单元，用于实时监控用户设置的预置内存传输通道的数据容量阈值，所述预置内存传输通道保存有从源服务器中获取的日志数据；

调整单元，用于根据所述监控单元监控的所述用户设置的预置内存传输通道的数据容量阈值动态调整所述预置内存传输通道的数据容量阈值；

检测单元，用于检测所述预置内存传输通道中的数据容量是否大于或者等于所述用户设置的预置内存传输通道的数据容量阈值；

获取单元，用于若检测单元检测所述预置内存传输通道中的数据容量大于或者等于所述用户设置的预置内存传输通道的数据容量阈值，则停止从所述源服务器中获取日志数据；

传输单元，用于将所述预置内存传输通道中的日志数据传输给目标服务器。