[发明专利]一种基于Flume的将数据存储为文件的方法及装置

说明书

本发明提供了一种基于Flume的将数据存储为文件的方法及装置，该方法，包括：预先设置清洗接口；接收针对所述清洗接口的自定义配置信息；根据针对所述清洗接口的自定义配置信息，生成自定义的清洗接口和数据清洗类，其中，所述数据清洗类为所述清洗接口的实现类；利用Flume中的configure()方法获取目标文件名称和所述数据清洗类；利用Flume中的configure()方法实例化所述数据清洗类；利用Flume中的process()方法调用自定义的清洗接口和实例化后的所述数据清洗类对待存储数据进行清洗，获取清洗后的数据，将清洗后的数据存储到所述目标文件名称对应的文件中。本发明能够对数据进行清洗。

技术领域

本发明涉及计算机技术领域，特别涉及一种基于Flume的将数据存储为文件的方法及装置。

背景技术

在数据处理中经常会遇到将数据存储为文件的需求，现有技术中一般将数据进行序列化之后，直接将数据存储为文件。但是，现有技术中无法实现对数据的清洗。

发明内容

本发明实施例提供了一种基于Flume的将数据存储为文件的方法及装置，能够对数据进行清洗。

一方面，本发明实施例提供了一种基于Flume的将数据存储为文件的方法，包括：

预先设置清洗接口；

接收针对所述清洗接口的自定义配置信息；

根据针对所述清洗接口的自定义配置信息，生成自定义的清洗接口和数据清洗类，其中，所述数据清洗类为所述清洗接口的实现类；

利用Flume中的configure()方法获取目标文件名称和所述数据清洗类；

利用Flume中的configure()方法实例化所述数据清洗类；

利用Flume中的process()方法调用自定义的清洗接口和实例化后的所述数据清洗类对待存储数据进行清洗，获取清洗后的数据，将清洗后的数据存储到所述目标文件名称对应的文件中。

进一步地，

所述清洗接口中包括：清洗方法；

所述自定义配置信息中包括：清洗规则；

所述利用Flume中的process()方法调用自定义的清洗接口和实例化后的所述数据清洗类对待存储数据进行清洗，包括：

利用Flume中的process()方法调用所述数据清洗类中的所述清洗方法按照所述清洗规则对所述待存储数据进行清洗。

进一步地，

所述清洗接口中进一步包括：初始化方法；

所述自定义配置信息中进一步包括：解析规则；

进一步包括：

利用Flume中的configure()方法调用所述初始化方法实现所述解析规则；

在所述利用Flume中的process()方法调用所述数据清洗类中的所述清洗方法按照所述清洗规则对所述待存储数据进行清洗之前，进一步包括：

利用Flume中的process()方法调用所述数据清洗类中的所述清洗方法按照所述初始化方法实现的所述解析规则对所述待存储数据进行解析。

进一步地，

该方法进一步包括：

利用Flume中的configure()方法获取所述待存储数据的原始存储路径；

在所述利用Flume中的process()方法调用自定义的清洗接口和实例化后的所述数据清洗类对待存储数据进行清洗之前，进一步包括：