[发明专利]分布式存储对接HDFS客户端的方法、系统、终端及存储介质在审
申请号: | 202110743141.2 | 申请日: | 2021-06-30 |
公开(公告)号: | CN113609092A | 公开(公告)日: | 2021-11-05 |
发明(设计)人: | 李朝阳;王帅阳;贾涛 | 申请(专利权)人: | 济南浪潮数据技术有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F16/17 |
代理公司: | 济南舜源专利事务所有限公司 37205 | 代理人: | 孙玉营 |
地址: | 250000 山东省济南市中国(山东)自由贸易*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式 存储 对接 hdfs 客户端 方法 系统 终端 介质 | ||
1.一种分布式存储对接HDFS客户端的方法,其特征在于,包括:
设置HDFS服务端的getFileInfo接口对接分布式存储的文件元数据获取函数;
设置HDFS服务端的getListing接口对接分布式存储的目录读取函数;
设置HDFS客户端对接getFileInfo接口和getListing接口,HDFS客户端通过getFileInfo接口和getListing接口获取分布式存储的文件元数据和目录信息。
2.根据权利要求1所述的分布式存储对接HDFS客户端的方法,其特征在于,设置HDFS服务端的getFileInfo接口对接分布式存储的文件元数据获取函数,包括:
利用JNA插件为分布式存储中的文件元数据获取函数设置第一Java接口,所述第一Java接口对接getFileInfo接口。
3.根据权利要求1所述的分布式存储对接HDFS客户端的方法,其特征在于,设置HDFS服务端的getListing接口对接分布式存储的目录读取函数,包括:
利用JNA插件为分布式存储中的目录读取函数设置第二Java接口,所述第二Java接口对接getListing接口。
4.根据权利要求2和3所述的分布式存储对接HDFS客户端的方法,其特征在于,所述方法还包括:
采用hdfs服务原生的存储文件信息的类HdfsFileStatus来存储单个文件或目录的元数据信息,通过获取目录文件列表然后遍历获取的方式来批量获取文件;
用DirectoryListing数组来存储获取的信息,并将存储的信息返回HDFS客户端;
对第一Java接口和第二Java接口进行二次封装。
5.一种分布式存储对接HDFS客户端的系统,其特征在于,包括:
第一对接单元,用于设置HDFS服务端的getFileInfo接口对接分布式存储的文件元数据获取函数;
第二对接单元,用于设置HDFS服务端的getListing接口对接分布式存储的目录读取函数;
数据获取单元,用于设置HDFS客户端对接getFileInfo接口和getListing接口,HDFS客户端通过getFileInfo接口和getListing接口获取分布式存储的文件元数据和目录信息。
6.根据权利要求5所述的系统,其特征在于,所述第一对接单元包括:
第一对接模块,用于利用JNA插件为分布式存储中的文件元数据获取函数设置第一Java接口,所述第一Java接口对接getFileInfo接口。
7.根据权利要求5所述的系统,其特征在于,所述第二对接单元包括:
第二对接模块,用于利用JNA插件为分布式存储中的目录读取函数设置第二Java接口,所述第二Java接口对接getListing接口。
8.根据权利要求6和7所述的系统,其特征在于,所述系统还包括:
批量获取模块,用于采用hdfs服务原生的存储文件信息的类HdfsFileStatus来存储单个文件或目录的元数据信息,通过获取目录文件列表然后遍历获取的方式来批量获取文件;
信息存储模块,用于用DirectoryListing数组来存储获取的信息,并将存储的信息返回HDFS客户端;
接口优化模块,用于对第一Java接口和第二Java接口进行二次封装。
9.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-4任一项所述的方法。
10.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于济南浪潮数据技术有限公司,未经济南浪潮数据技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110743141.2/1.html,转载请声明来源钻瓜专利网。