[发明专利]转发日志行

说明书

背景技术

现代数据中心可能包含数万或数十万的计算机，它们也可被称为节点。每个节点 可以包含端口，例如串行端口，通过该端口可以发送日志数据。典型地，日志数据是 与节点有关的信息，可以分析该信息以确定节点性能或者调试可能已经在节点上发生 的错误。在许多数据中心中，来自每个节点的日志数据可被收集到少量的日志服务器 上。因此，可以获取来自许多节点的日志数据而不必单独地访问每个节点。

附图说明

图1描绘可利用本文描述的日志聚合技术的系统的示例。

图2描绘可利用本文描述的日志聚合技术的系统的另一示例。

图3是根据本文描述的技术用于将日志行转发到日志聚合节点的概要流程图 的示例。

图4是根据本文描述的技术用于识别日志聚合节点并将日志行转发到所识别 的节点的概要流程图的示例。

图5是根据本文描述的技术用于从节点接收日志行并在转发之前附加节点标 识符的概要流程图的示例。

图6是根据本文描述的技术用于将日志行转发到从其它日志聚合节点聚合日 志行的节点的概要流程图的另一示例。

图7是根据本文描述的技术用于从节点接收日志行并转发到日志服务器的处 理器指令的示例。

图8是根据本文描述的技术用于识别日志聚合节点以及转发到日志服务器的 处理器指令的示例。

具体实施方式

尽管提供中心日志服务器来从许多节点聚合日志数据提供了收集日志数据而 不必单独地访问每个节点的有效方式，但是这种聚合不是没有问题。例如，日志 数据通常被发送到节点上的串行端口之外。为了使得日志服务器从每个节点收集 日志数据，必须在每个节点和日志服务器之间为串行电缆规定路线。考虑到在标 准机架中不断增长的节点密度，这种电缆的负担变得非常巨大。例如，存在当前 数据中心盒式架构，其允许每个外壳有45个盒，其中每个盒四个节点，每个机架 10个外壳。该密度转化成每个机架1800个节点，每个节点依次需要1800根串行 电缆。因为在日志服务器上具有1800个串行端口将是不合理的，因此将需要另外 的设备，例如串行扩展器。

为了部分地克服该问题，创建了虚拟串行端口。使用虚拟串行端口，将通过 该串行端口正常发送的日志数据被通过网络连接发送。例如，每个节点可以建立 通过网络与日志服务器的连接。例如，网络可以是连接数据中心内的所有节点和 日志服务器的以太网网络。通过串行端口正常输出的日志数据可以被放置到数据 包中通过与日志服务器建立的连接发送。因为数据通过网络传送，因此数据连接 可以被加密以提高安全性。如应该理解的，网络拓扑的使用消除了对在每个节点 和日志服务器之间具有特定电缆的需要。

尽管虚拟串行端口的使用解决了与在日志服务器处收集日志数据有关的一些 问题，但虚拟串行端口自身产生了另外的问题。例如，因为必须在每个节点和日 志服务器之间建立连接，因此每个节点必须单独配置有日志服务器的网络地址。 此外，必须建立和维护每个节点和日志服务器之间的连接。尽管在节点处这不是 大问题，但是在日志服务器中不是这样。考虑到上述的示例密度，单个机架需要 与日志服务器建立1800个连接。进一步加剧该问题的是在每个连接上加密的使用。 如果使用加密，则用于加密和解密通过连接发送的日志信息的开销将是过多的。

本文描述的技术通过在发送到日志服务器之前聚合日志数据克服了这些问 题。每个节点可以通过虚拟串行连接将日志数据发送到聚合节点。聚合节点在受 信任的域内对于外壳和/或机架是本地的，使得在节点和聚合节点之间不需要加密。 聚合节点可以建立安全连接，诸如与日志服务器连接的安全外壳协议(SSH)。通 过聚合节点，从每个节点接收的数据可以被发送到日志服务器。因此，对于每个 节点不再需要建立到日志服务器的安全连接。

为了克服利用聚合节点配置每个节点的问题，可以使用自发现机制。在一个 示例实施方式中，每个节点可以监听来自聚合节点的广播消息。一旦接收到广播 消息，节点就可以从该消息中获取聚合节点的地址。在可替代的示例实施方式中， 每个节点可以广播要求聚合节点的网络地址的请求消息。聚合节点可以响应，并 且该节点可以存储聚合节点的地址。在任何一种情况中，聚合节点的地址不需要 被预先配置到每个节点中。