[发明专利]Flume元数据信息分析提取方法及相关组件

权利要求书

1.一种Flume元数据信息分析提取方法，其特征在于，包括：

获取待处理的Event数据；其中，所述Event数据中包括：Event Header与Event Body；

对所述Event Body进行目标分隔符识别，并根据识别到的所述目标分隔符对所述Event Body进行元数据字段信息提取，得到元数据字段信息；

为所述元数据字段信息匹配对应的元数据字段名称，得到元数据字段名称与字段信息的数据对；

按照预设元数据统一存储格式对所述数据对进行格式转换，生成标准格式的元数据信息；

将所述标准格式的元数据信息添加至所述Event数据中。

2.根据权利要求1所述的Flume元数据信息分析提取方法，其特征在于，在为所述元数据字段信息匹配对应的元数据字段名称之前，还包括：

判断所述元数据字段信息的数量与预先配置的所述元数据字段名称的数量是否匹配；

若匹配，执行为所述元数据字段信息匹配对应的元数据字段名称的步骤；

若不匹配，将所述Event数据作为错误数据，写入错误数据记录文件中。

3.根据权利要求2所述的Flume元数据信息分析提取方法，其特征在于，在将所述Event数据作为错误数据，写入错误数据记录文件中之后，还包括：

判断所述错误数据记录文件中写入的错误数据的数量是否达到第一阈值；

若达到，停止所述Source组件的数据采集通道，并输出错误提示；

若未达到，执行所述判断所述Event Body中目标分隔符的数量与字段数量是否匹配的步骤。

4.根据权利要求2所述的Flume元数据信息分析提取方法，其特征在于，判断所述元数据字段信息的数量与预先配置的所述元数据字段名称的数量是否匹配，包括：

判断所述Event Body中目标分隔符的数量，是否为所述元数据字段名称的数量与1的差值；

若是，判定所述元数据字段信息的数量与预先配置的所述元数据字段名称的数量匹配；

若否，判定所述元数据字段信息的数量与预先配置的所述元数据字段名称的数量不匹配。

5.根据权利要求2所述的Flume元数据信息分析提取方法，其特征在于，在执行对所述Event Body进行目标分隔符识别的步骤之前，还包括：

若所述错误数据记录文件中写入的错误数据的数量达到所述第一阈值，判断是否开启脏数据校验；

若开启，判断所述Event Body中所有字段数据的数据类型是否为目标配置类型；

若是，执行对所述Event Body进行目标分隔符识别的步骤；

若否，将所述Event数据作为脏数据，写入脏数据记录文件中；

若未开启，执行对所述Event Body进行目标分隔符识别的步骤。

6.根据权利要求5所述的Flume元数据信息分析提取方法，其特征在于，还包括：

判断所述脏数据记录文件中写入的脏数据的数量是否达到第二阈值；

若达到，停止所述Source组件的数据采集通道，并输出脏数据提示；

若未达到，执行对所述Event Body进行目标分隔符识别的步骤。

7.根据权利要求1所述的Flume元数据信息分析提取方法，其特征在于，所述按照预设元数据统一存储格式对所述数据对进行格式转换，生成标准格式的元数据信息，包括：

将所述数据对进行Json格式构造，生成Json格式的元数据；

将所述Json格式的元数据作为所述标准格式的元数据信息。