[发明专利]一种大规模日志传输方法、装置及系统

说明书

本发明提供了一种大规模日志传输方法、装置及系统，其中方法包括：发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；发送端按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；判断第二反馈信息的延时大于第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。

技术领域

本发明涉及计算机互联网领域，尤其涉及一种大规模日志传输方法、装置及系统。

背景技术

在现代互联网应用领域，越来越重视用户行为和应用使用模式，都导致日志回传规模的快速增加，需要日志传输系统的有效支撑。传统日志传输方法往往是通过多台前端业务服务器汇集，再传至一台后端服务器进行统一日志处理，通常采用开源日志传输系统，包括Flume和Scribe等，通过清晰的部署方式和业务逻辑将分散的日志逐步汇总，实现日志的快速传输。

然而在互联网应用系统运维过程中，由于前后端之间网络链路资源有限，以及除日志模块的其他业务模块回传数据的现象日益普遍，经常会出现网络链路局部拥塞，业务数据回传不及时的情况，严重影响了系统可用性。因此，要求日志回传在避免影响业务数据回传的情况下保障传输效率。而开源日志传输系统通常采用“采集-汇聚-合并”的传输模式，有时为了实现日志传输的高效性，还会采用多线程提速，最终将导致网络链路上数据传输的压力逐步增加，增大网络链路局部拥塞的风险。

可见，目前的日志传输方法不能在大规模日志传输过程中，根据网络链路情况有效优化和调整传输策略，避免网络链路局部的拥塞和对整体业务数据回传的影响。

发明内容

本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的大规模日志传输方法、装置及系统。

为达到上述目的，本发明的技术方案具体是这样实现的：

本发明的一个方面提供了一种大规模日志传输方法，包括：发送端将当前传输任务按照第一传输速率通过直接传输通道进行传输，其中，直接传输通道包括发送端至日志记录服务器的链路；发送端按照第一预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第一反馈信息；发送端判断第一反馈信息的延时符合预设评估结果时，按照第二预设频率周期性拨测直接传输通道的链路传输状态，并获取日志记录服务器发送的第二反馈信息，其中第二预设频率大于第一预设频率；发送端判断第二反馈信息的延时大于第一反馈信息的延时，则生成拥塞警报，确定分组多路均衡传输方案；发送端将当前传输任务按照分组多路均衡传输方案传输至日志记录服务器。

其中，确定分组多路均衡传输方案包括：发送端获取具有连通性状态的转发辅助节点，并从具有连通性状态的转发辅助节点中选择一个可用节点，建立间接传输通道，其中，间接传输通道包括发送端至可用节点至日志记录服务器的链路；发送端负载均衡当前传输任务中剩余需要传输的日志文件，按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，其中，第二传输速率小于第一传输速率。

其中，确定分组多路均衡传输方案还包括：发送端判断当前传输任务是否结束，并监测拥塞报警情况；如果当前传输任务未结束，拥塞警报解除，则按照第二传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道进行传输，直至当前传输任务结束，释放间接传输通道；如果当前传输任务未结束，拥塞警报未解除，则执行建立新的间接传输通道的操作，负载均衡当前传输任务中剩余需要传输的日志文件，按照第三传输速率通过直接传输通道进行传输，并按照第一传输速率通过间接传输通道和新的间接传输通道进行传输，直至当前传输任务结束，其中，建立新的间接传输通道的操作包括：从具有连通性状态的转发辅助节点中选择另一个可用节点，建立新的间接传输通道，第三传输速率小于第二传输速率。