[发明专利]一种FTP数据库与HDFS数据库自动互传数据的方法有效
申请号: | 201910463038.5 | 申请日: | 2019-05-30 |
公开(公告)号: | CN110377582B8 | 公开(公告)日: | 2022-08-26 |
发明(设计)人: | 徐剑;范联伟;余保华;徐圣吉;李贤军;张金国;展昭;吴磊;何宽宽;胡鸿超;杨培韬;胡刚;陈磊;梅存林;韦良春;夏磊 | 申请(专利权)人: | 安徽四创电子股份有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/25 |
代理公司: | 合肥和瑞知识产权代理事务所(普通合伙) 34118 | 代理人: | 王挺 |
地址: | 230088 安徽省合肥*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种FTP数据库与HDFS数据库自动互传数据的方法,包括如下步骤:数据抽取,GetFTP处理器查询并抽取到FTP数据库中的FTP数据,GetHDFS处理器查询并抽取到HDFS数据库中的HDFS数据;数据转换,对UpdateAttribute处理器进行属性配置,UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据,将抽取到的HDFS数据转换为FTP数据;数据加载,分别对PutHDFS处理器和PutFTP处理器进行属性配置,PutHDFS处理器将转换得到的HDFS数据加载到HDFS数据库的目标文件夹中,PutFTP处理器将转换得到的FTP数据加载到FTP数据库的目标文件夹中。本发明降低了数据转换的错误率,实现了数据的高效抽取与互传。 | ||
搜索关键词: | 一种 ftp 数据库 hdfs 自动 数据 方法 | ||
【主权项】:
1.一种FTP数据库与HDFS数据库自动互传数据的方法,其特征在于,包括如下步骤:S1,数据抽取,将GetFTP处理器与FTP数据库创建连接服务,GetFTP处理器进而查询并抽取到FTP数据库中的FTP数据;将GetHDFS处理器与HDFS数据库创建连接服务,GetHDFS处理器进而查询并抽取到HDFS数据库中的HDFS数据;S2,数据转换,在GetFTP处理器和GetHDFS处理器的下游设置UpdateAttribute处理器,并对UpdateAttribute处理器进行属性配置;UpdateAttribute处理器将抽取到的FTP数据转换为HDFS数据,或者将抽取到的HDFS数据转换为FTP数据;S3,数据加载,在UpdateAttribute处理器的下游分别设置PutHDFS处理器和PutFTP处理器,并分别对PutHDFS处理器和PutFTP处理器进行属性配置;PutHDFS处理器将步骤S2中转换得到的HDFS数据加载到HDFS数据库的目标文件夹中,PutFTP处理器将步骤S2中转换得到的FTP数据加载到FTP数据库的目标文件夹中。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于安徽四创电子股份有限公司,未经安徽四创电子股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910463038.5/,转载请声明来源钻瓜专利网。