[发明专利]文件读取方法及装置有效
| 申请号： | 201811541620.0 | 申请日： | 2018-12-17 |
| 公开（公告）号： | CN109766318B | 公开（公告）日： | 2021-03-02 |
| 发明（设计）人： | 王勇 | 申请（专利权）人： | 新华三大数据技术有限公司 |
| 主分类号： | G06F16/172 | 分类号： | G06F16/172;G06F16/182;G06F16/13 |
| 代理公司： | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人： | 刘新宇 |
| 地址： | 450000 河南省郑州市高新技*** | 国省代码： | 河南;41 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本公开涉及一种文件读取方法及装置，所述方法包括：接收文件读取请求，文件读取请求中包括要读取的目标文件的标识；根据目标文件的标识，在本地存储的第一索引信息包括的子文件标识与合并文件标识的映射关系中，查找与目标文件的标识匹配的目标子文件标识及对应的目标合并文件标识；根据目标合并文件标识，在本地存储的第二索引信息包括合并文件标识与HDFS的存储块标识的映射关系中，查找与目标合并文件标识对应的目标存储块标识；按照预设获取条件，确定要获取的与目标文件关联的子文件数量，向HDFS发送文件获取请求，接收并缓存所述HDFS返回的目标文件以及关联文件。本公开可以减少与HDFS的交互，从而降低了HDFS的资源使用率，提高HDFS的处理的效率。 | ||
| 搜索关键词： | 文件 读取 方法 装置 | ||
【主权项】：
1.一种文件读取方法，其特征在于，所述方法包括：接收文件读取请求，所述文件读取请求中包括要读取的目标文件的标识；根据所述目标文件的标识，在本地存储的第一索引信息包括的子文件标识与合并文件标识的映射关系中，查找与所述目标文件的标识匹配的目标子文件标识及对应的目标合并文件标识；其中，合并文件存储于Hadoop分布式文件系统HDFS、且所述合并文件中的子文件有关联关系；根据所述目标合并文件标识，在本地存储的第二索引信息包括合并文件标识与所述HDFS的存储块标识的映射关系中，查找与所述目标合并文件标识对应的目标存储块标识；按照预设获取条件，确定要获取的与所述目标文件关联的子文件数量，向所述HDFS发送文件获取请求，所述文件获取请求中包含所述目标存储块标识、目标子文件标识、目标合并文件标识、所述子文件数量，以使所述HDFS在与所述目标存储块标识对应的目标存储块中查找与所述目标合并文件标识对应的目标合并文件，并在所述目标合并文件中查找所述目标文件及数量为所述子文件数量的关联文件；接收并缓存所述HDFS返回的目标文件以及关联文件。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于新华三大数据技术有限公司，未经新华三大数据技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811541620.0/，转载请声明来源钻瓜专利网。
