[发明专利]一种分布式服务器系统的日志查找方法及装置

说明书

本发明公开了一种分布式服务器系统的日志查找方法及装置，其中方法为：创建查找任务；所述查找任务用于在分布式服务器系统上查找设定时段内设定对象的日志；所述查找任务包括多个查找子任务；在所述分布式服务器系统上执行所述查找任务；在确定所述查找任务的查找子任务的数量满足上限条件时，上报所述子任务的日志；所述上限条件是根据在所述设定时段内所述设定对象的日志数量与所述分布式服务器系统在所述设定时段内的日志总数量确定的。

技术领域

本发明涉及大数据集群领域，尤其涉及一种分布式服务器系统的日志查找方法及装置。

背景技术

分布式服务器系统中有大量的服务器，而每台服务器每天都会产生大量的日志。在一些情况下，需要查找到特定条件下的日志。因此，如何快速地查找到需要的日志对服务器系统来说至关重要。

现有方式中，一个查询任务执行时，通常要查询的日志会涉及到多个服务器，查询的字段需要匹配较多内容，一旦某个服务器因为某种原因(比如网络延迟，或者宕机，或者就是计算量太大)导致没有返回数据，那么会一直等待查询任务在这个服务器上的子任务，从而导致整个查询任务的耗时非常久，这是一个亟待解决的问题。

发明内容

本申请实施例提供一种分布式服务器系统的日志查找方法及装置，解决了现有技术中查询任务的耗时非常久的问题。

第一方面，本申请实施例提供一种分布式服务器系统的日志查找方法，包括：创建查找任务；所述查找任务用于在分布式服务器系统上查找设定时段内设定对象的日志；所述查找任务包括多个查找子任务；在所述分布式服务器系统上执行所述查找任务；在确定所述查找任务的查找子任务的数量满足上限条件时，上报所述子任务的日志；所述上限条件是根据在所述设定时段内所述设定对象的日志数量与所述分布式服务器系统在所述设定时段内的日志总数量确定的。

上述方法中，创建在分布式服务器系统上查找日志的查找任务后，在所述分布式服务器系统上执行所述查找任务，由于查找任务的多个查找子任务中的查找子任务有可能执行失败，则在确定所述查找任务已返回查找日志的查找子任务的数量满足所述查找任务的上限条件时，便将所述查找任务已查找到的所有日志上报，从而在保证数量满足上限条件的基础上，返回已查找到的所有日志，从而不会因为少量的子任务没返回拖延整个查找任务的耗时。

一种可选实施方式中，所述上限条件是根据在所述设定时段内所述设定对象的日志数量与所述分布式服务器系统在所述设定时段内的日志总数量确定的，包括：根据在所述设定时段内所述分布式服务器系统在所述设定时段内的日志总数量和所述设定对象在所述设定时段内的日志数量，确定所述设定对象的日志占比；根据所述日志占比确定第一上报比例阈值，所述日志占比与所述第一上报比例阈值呈负相关；所述确定所述查找任务的查找子任务的数量满足上限条件，包括：根据所述已返回查找结果的查找子任务的数量和所述查找任务的所有查找子任务，确定任务比值；若确定所述任务比值不小于所述第一上报比例阈值，则确定已返回查找结果的查找子任务数量满足所述查找任务的上限条件。

上述方法中，首先根据在所述设定时段内所述分布式服务器系统在所述设定时段内的日志总数量和在所述设定时段内所述设定对象的日志数量，确定所述设定对象的日志占比，从而模糊地确定设定对象所要返回的日志，当日志占比越多时，说明日志的基数越多，那么日志返回的基数也越多，对日志返回的要求越低，因此可以根据所述日志占比确定与之呈负相关的第一上报比例阈值，当确定所述任务比值不小于所述第一上报比例阈值，则确定满足所述查找任务的上限条件，从而能够根据不同的日志占比情况，灵活确定所述查找任务的上限条件。

一种可选实施方式中，所述日志占比为区间值；所述第一上报比例阈值为区间值；所述确定所述任务比值不小于所述第一上报比例阈值，包括：确定所述任务比值不小于所述第一上报比例阈值的下限值；所述将所述设定对象的已查到的日志上报，包括：在所述任务比值不小于所述第一上报比例阈值的上限值时，将所述设定对象的已查到的日志上报。