[发明专利]一种FTP数据库与HDFS数据库自动互传数据的方法

权利要求书

1.一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于，包括如下步骤：

S1，数据抽取，将GetFTP处理器与FTP数据库创建连接服务，GetFTP处理器进而查询并抽取到FTP数据库中的FTP数据；将GetHDFS处理器与HDFS数据库创建连接服务，GetHDFS处理器进而查询并抽取到HDFS数据库中的HDFS数据；

S2，数据转换，在GetFTP处理器和GetHDFS处理器的下游设置UpdateAttribute处理器，并对UpdateAttribute处理器进行属性配置；UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据，或者将抽取到的HDFS数据转换为FTP数据；

S3，数据加载，在UpdateAttribute处理器的下游分别设置PutHDFS处理器和PutFTP处理器，并分别对PutHDFS处理器和PutFTP处理器进行属性配置；PutHDFS处理器将步骤S2中转换得到的HDFS数据加载到HDFS数据库的目标文件夹中，PutFTP处理器将步骤S2中转换得到的FTP数据加载到FTP数据库的目标文件夹中；

所述GetFTP处理器、GetHDFS处理器与UpdateAttribute处理器之间，UpdateAttribute处理器与PutHDFS处理器、PutFTP处理器之间均使用任务队列作为数据缓冲区。

2.根据权利要求1所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S1中，将GetFTP处理器与FTP数据库创建连接服务，即设置GetFTP处理器的连接属性，包括对属性Port、Connection Mode、Transfer Mode、PollingInterval、SearchRecursively、Ignore Dotted Files、Delete Original的值的设置；即将属性Port的值设置为21，属性Connection Mode的值设置为Passive，属性Transfer Mode的值设置为Binary，属性Polling Interval的值设置为60sec，属性Search Recursively的值设置为false，属性Ignore Dotted Files的值设置为true，属性Delete Original的值设置为true。

3.根据权利要求2所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S1中，将GetHDFS处理器与HDFS数据库创建连接服务，即设置GetHDFS处理器的连接属性，包括对属性Kerberos Relogin Period、Recurse Subdirectories、Keep SourceFile、Filter Match Name Only、Ignore Dotted Files、Minimum File Age的值的设置；即将属性Kerberos Relogin Period的值设置为4hours，将属性Recurse Subdirectories的值设置为ture，将属性Keep Source File的值设置为false，将属性Filter Match NameOnly的值设置为ture，将属性Ignore Dotted Files的值设置为ture，将属性Minimum FileAge的值设置为0sec。

4.根据权利要求3所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S1中，所述GetFTP处理器对FTP数据库中的FTP数据和GetHDFS处理器对HDFS数据库中的HDFS数据的抽取节点的文件类型包括定长格式文件、列分隔符字段文件和“名称-值”对文件。

5.根据权利要求1所述的一种FTP数据库与HDFS数据库自动互传数据的方法，其特征在于：步骤S2中，UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据或者将抽取到的HDFS数据转换为FTP数据之前，均需对抽取到的FTP数据或HDFS数据依次进行路由、过滤、分组和踢重处理，从而得到进行转换工作所需的数据。