[发明专利]一种日志收集方法及系统

说明书

技术领域

本发明涉及互联网及内容分发网络（Contect Delivery Network，CDN）领域，尤其涉及一种日志收集方法及系统。

背景技术

Web2.0是一个架构在知识上的网络环境，人与人之间交互而产生出的内容，经由在后台Web服务器（上传服务器）产生，在Web2.0环境中发布，并且被管理和使用。目前Web2.0具有代表性的服务如下：博客、维客（wiki）、社区化网络服务（Social Networking Services，SNS，）、微博等。为了满足上述大容量数据的高效分发，CDN网络随之产生。CDN为Internet中增加的一层新网络架构，CDN网络将网站的内容发布到最接近用户的网络边缘，使用户可以就近取得所需的内容，解决Internet网络拥塞状况，提高用户网站的响应速度。

Web2.0更注重用户之间的交互和体验。例如：一条微博发表后，通过被不断地转发、评论，有可能会产生千兆字节（Gigabyte，GB）的日志数据，这无疑给CDN架构中日志收集系统带来新的挑战。

现有CDN架构中的日志收集方法如图1所示，Web服务器在响应客户端（网民）的服务请求并产生海量日志数据之后，根据就近原则或者相同因特网服务供应商（Internet Service Provider，ISP）原则，选择一个待上传日志的节点收集服务器，并将产生的所述日志数据汇总到所选择的节点收集服务器，该节点收集服务器通过某种传输协议，如文件传输协议（File Transfer Protocol，FTP）、超文本传送协议（HyperText Transport Protocol，HTTP）等，将来自Web服务器的日志数据汇总到中央收集服务器。

现有CDN架构中的日志收集方法存在以下问题：Web服务器选择节点收集服务器的方式没有考虑节点收集服务器的日志传输链路情况（负载使用率或磁盘空间使用率等情况），日志在上传过程中，有可能待上传日志的节点收集服务器的负载太重或者磁盘空间占用量太大，而未上传日志的某些节点收集服务器的负载太轻或者磁盘空间占用量较小，形成多个节点收集服务器的负载分部不均匀，或者磁盘空间分部不均匀。即使日志成功上传到中央收集服务器，日志传输过程中使用的链路质量较差，节点收集服务器的响应速度较慢，丢包率高，日志收集效率较低。

另外，现有技术当Web服务器选择的节点收集服务器已经接收到该Web服务器汇总上来的日志，但由于硬件故障，如自身CPU跑满或者没有足够的磁盘空间、机房网络中断，或者电源断电等情况，出现死机现象，日志无法顺利上传到中央收集服务器。但是Web服务器不知道日志未上传成功，不再上传已经上传过的日志。中央收集服务器无法接收到该部分日志，无法保障日志收集的完整性。

发明内容

本发明实施例提供一种日志收集方法及系统，用以提高日志收集效率。

本发明实施例提供的一种日志收集方法，包括：

上传服务器接收中央控制器发送的携带至少一个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；

上传服务器从保存的节点收集服务器的地址信息中选定一个待接收日志的节点收集服务器的地址信息；

上传服务器根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；

节点收集服务器将来自上传服务器的日志汇总到中央收集服务器。

本发明实施例提供的一种日志收集控制方法，包括：

中央控制器接收上传服务器发送的日志上传请求消息，该日志上传请求消息携带发送该日志上传请求消息的上传服务器的地址信息以及待上传日志的信息；

中央控制器根据所述上传服务器的地址信息、待上传日志的信息，以及预先存储的节点收集服务器对应的链路质量信息，从预先存储的多个节点收集服务器的地址信息中，选定至少一个接收所述待上传日志的节点收集服务器的地址信息；

中央控制器根据所述上传服务器的地址信息，将所述选定的待上传日志的节点收集服务器的地址信息发送给所述上传服务器。

本发明实施例提供的一种日志收集系统，包括：

上传服务器、中央控制器、节点收集服务器，以及中央收集服务器；

所述上传服务器，用于接收中央控制器发送的携带至少一个节点收集服务器的地址信息的日志上传通知消息，并保存接收到的每个节点收集服务器的地址信息；以及从保存的节点收集服务器的地址信息中选定一个待接收日志的节点收集服务器的地址信息；以及根据所述选定的地址信息，将本地磁盘存储的日志发送给节点收集服务器；