[发明专利]一种可靠的分布式日志收集方法和系统

权利要求书

1.一种分布式日志收集方法，包括：

将应传输的日志切分为多个日志块；

将所述应传输的日志块与flume监控目录建立软链接；

传输与flume监控目录建立了软链接的日志块；

将已传输的日志块存入HDFS集群；

将应传输的日志块在传输前的行数与从HDFS读取的相应已传输日志块的行数进行比较，以确定相应已传输的日志块是否为正常日志块；以及

将所确定出的正常日志块存入数据仓库。

2.根据权利要求1所述的方法，其中，将应传输的日志块在传输前的行数与从HDFS读取的相应已传输日志块的行数进行比较之前，所述方法还包括：

根据应传输的日志块与日志打印机器之间的对应关系，核对应进行日志传输的日志打印机器和当前参与日志传输的日志打印机器是否一致，

如果一致，则执行所述比较的步骤；

如果不一致，则自动拉起相应日志打印机器上的flume进程，然后执行所述比较的步骤。

3.根据权利要求2所述的方法，还进一步包括：判断所述拉起的过程是否成功的步骤，

如果不成功，向用户发出第一警报。

4.根据权利要求1所述的方法，其中，所述比较的步骤包括：

判断出应传输的日志块在传输前的行数与从HDFS集群读取的相应已传输日志块的行数之间的误差超出了预设的误差范围，以及

将判断后的已传输的日志块确定为异常日志块，并返回至所述建立软链接的步骤。

5.根据权利要求1或4所述的方法，其中，所述比较的步骤包括：

判断出应传输的日志块在传输前的行数与从HDFS集群读取的相应已传输日志块的行数之间的误差未超出预设的误差范围；以及

将判断后的已传输的日志块确定为正常日志块。

6.根据权利要求4所述的方法，还包括：

在已传输的日志块被确定为异常日志块之后且在返回至所述建立软链接的步骤之前，根据对应于所述异常日志块的应传输的日志块已与相应flume监控目录建立软链接的次数分析是否向用户发出第二警报，

如果所述次数超出预设值，则向用户发出所述第二警报，否则返回至所述建立软链接的步骤。

7.根据权利要求2所述的方法，其中，所述应传输的日志块与日志打印机器之间的对应关系通过在所述切分的日志块的名称中添加执行所述切分的日志打印机器的名称而建立。

8.根据权利要求1所述的方法，其中，所述将日志切分为多个日志块的步骤根据第一预设时间而执行。

9.根据权利要求8所述的方法，其中，所述切分的日志块的名称与所述第一预设时间关联。

10.根据权利要求1所述的方法，所述方法还包括：

每隔第二预设时间执行检测flume收集端机器是否存在flume进程的步骤，响应于flume收集端机器上不存在flume进程，拉起相应flume收集端机器的flume进程。

11.一种分布式日志收集系统，所述系统包括：

多个日志打印机器，配置成将应传输的日志切分为多个日志块并将所述应传输的日志块与日志打印机器中配置的flume监控目录建立软链接；

flume收集端机器，配置成接收与日志打印机器中配置的flume监控目录建立了软链接的日志块；

HDFS集群，配置成存储所述flume收集端机器所接收的日志块；

处理模块，配置成将日志打印机器应传输的日志块在传输前的行数与从HDFS集群读取的相应日志打印机器已传输日志块的行数进行比较，以确定相应日志打印机器已传输的日志块是否为正常日志块；

数据仓库，配置成存储所述处理模块所确定出的正常日志块。