[发明专利]文件复制方法及装置在审
申请号: | 201610756070.9 | 申请日: | 2016-08-29 |
公开(公告)号: | CN106339473A | 公开(公告)日: | 2017-01-18 |
发明(设计)人: | 石子夜 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京鸿德海业知识产权代理事务所(普通合伙)11412 | 代理人: | 袁媛 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明提供一种文件复制方法及装置,应用于HDFS中。其所述方法包括根据待复制的文件的长度、文件的起始位置和块的预设最大长度,生成将文件复制至HDFS中所需的块列表信息,块列表信息中包括将文件复制至HDFS中所需的M个块中各块的标识、各块存储文件时对应的起始偏移位置和各块存储文件的实际长度;根据M个块中各块的标识、各块存储文件时对应的起始偏移位置和各块存储所述文件的实际长度,将文件分块复制至M个块中,得到M个临时目标文件;将M个临时目标文件合并,得到复制后的目标文件。本发明的技术方案,通过对大文件分多个块进行并行复制,充分利用HDFS的I/O资源,提高大文件复制速度、缩短复制时间、提高复制效率。 | ||
搜索关键词: | 文件 复制 方法 装置 | ||
【主权项】:
一种文件复制方法,所述方法应用于HDFS中,其特征在于,所述方法包括:根据待复制的文件的长度、所述文件的起始位置和块的预设最大长度,生成将所述文件复制至所述HDFS中所需的块列表信息,所述块列表信息中包括将所述文件复制至所述HDFS中所需的M个块中各所述块的标识、各所述块存储所述文件时对应的起始偏移位置和各所述块存储所述文件的实际长度;所述M为大于等于1的正整数;根据所述M个块中各所述块的标识、各所述块存储所述文件时对应的起始偏移位置和各所述块存储所述文件的实际长度,将所述文件分块复制至所述M个块中,得到M个临时目标文件;将所述M个临时目标文件合并,得到复制后的目标文件。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201610756070.9/,转载请声明来源钻瓜专利网。