[发明专利]一种ETL解析异常数据留存的方法及装置

权利要求书

1.一种ETL解析异常数据留存的方法，其特征在于，该方法包括：

步骤一，采集数据

开启filebeat程序，启动一个或多个探测器检测指定的日志目录或文件，对于探测器找出的每一个日志目录或文件，filebeat程序启动收割进程，每一个收割进程读取一个日志目录或文件的新内容，并发送这些新内容，汇总到logstash程序；

步骤二，处理数据

logstash程序收到filebeat程序发来的数据后，对数据执行转换和过滤的各种操作；

在处理数据时，通过不同的插件解析规则，并带上当前处理时间，记录元数据和异常日志数据的对应关系；

logstash程序记录异常日志对应元数据所在主机名、文件名和文件所在目录名信息，并将这些信息追加到异常数据中；

步骤三，将异常数据写入定义的目标存储。

2.根据权利要求1所述的ETL解析异常数据留存的方法，其特征在于，不同的插件解析规则，包括：

使用ruby插件自定义解析规则，json异常解析规则，grok异常解析规则以及其他异常解析规则。

3.根据权利要求2所述的ETL解析异常数据留存的方法，其特征在于，使用ruby插件自定义解析规则，包括：

通过logstash的ruby插件解析数据，校验字段的数据类型、字段数量、时间格式是否符合规则，如果不符合规则，则抛出异常,并将日志是否正常的标识设置为2，标识该条日志为异常数据。

4.根据权利要求2所述的ETL解析异常数据留存的方法，其特征在于，json异常解析规则，包括：

通过logstash的json插件解析json格式的数据，对于无法解析的json字符串,抛出_jsonparsefailure异常,并将日志是否正常的标识设置为2，标识该条日志为异常数据。

5.根据权利要求2所述的ETL解析异常数据留存的方法，其特征在于，grok异常解析规则，包括：

通过logstash的grok插件基于正则表达式解析数据，对于无法解析的grok字符串，抛出_grokparsefailure异常，并将日志是否正常的标识设置为2，标识该条日志为异常数据。

6.根据权利要求2所述的ETL解析异常数据留存的方法，其特征在于，其他异常解析规则，包括：

对于mutate_error无法解析，抛出_mutate_error异常，对于dissect无法解析，抛出_dissectfailure异常，对于时间戳无法解析，抛出_timestampparsefailure异常，并将日志是否正常的标识设置为2，标识该条日志为异常数据。

7.根据权利要求1所述的ETL解析异常数据留存的方法，其特征在于，所述元数据使用ruby脚本解析。

8.一种ETL解析异常数据留存的装置，其特征在于，该装置包括：

采集数据模块，用于开启filebeat程序，启动一个或多个探测器检测指定的日志目录或文件，对于探测器找出的每一个日志目录或文件，filebeat程序启动收割进程，每一个收割进程读取一个日志目录或文件的新内容，并发送这些新内容，汇总到logstash程序；

处理数据模块，用于logstash程序收到filebeat程序发来的数据后，对数据执行转换和过滤的各种操作；在处理数据时，通过不同的插件解析规则，并带上当前处理时间，记录元数据和异常日志数据的对应关系；logstash程序记录异常日志对应元数据所在主机名、文件名和文件所在目录名信息，并将这些信息追加到异常数据中；

异常数据写入存储模块，用于将异常数据写入定义的目标存储。

9.根据权利要求8所述的ETL解析异常数据留存的装置，其特征在于，所述处理数据模块中不同的插件解析规则，包括：

使用ruby插件自定义解析规则，json异常解析规则，grok异常解析规则以及其他异常解析规则。