[发明专利]用于HDFS的文件处理方法以及系统、设备、存储介质在审
| 申请号： | 201911140253.8 | 申请日： | 2019-11-19 |
| 公开（公告）号： | CN110990334A | 公开（公告）日： | 2020-04-10 |
| 发明（设计）人： | 徐涛;吴峰;郭伟 | 申请（专利权）人： | 上海易点时空网络有限公司 |
| 主分类号： | G06F16/11 | 分类号： | G06F16/11;G06F16/16;G06F16/182 |
| 代理公司： | 北京卓唐知识产权代理有限公司 11541 | 代理人： | 唐海力 |
| 地址： | 200125 上海市浦东*** | 国省代码： | 上海;31 |
| 权利要求书： | 暂无信息 | 说明书： | 暂无信息 |
| 摘要： | 本申请公开了一种用于HDFS的文件处理方法以及系统、设备、存储介质。该方法包括配置待合并的HDFS的小文件所在的第一目录和合并后输出的第二目录；基于MapReduce程序对所述待合并的HDFS的小文件进行合并；判断所述小文件的合并前与合并后的数据行数是否相同；如果相同，则先删除所述第一目录下文件，再将所述第二目录下文件移至所述第一目录；如果不相同，则合并失败。本申请解决了HDFS存在大量小文件时处理效果不佳的技术问题。通过本申请采用MapReduce程序进行合并速度快，并且结果进行了校验，保证合并的正确性。 | ||
| 搜索关键词： | 用于 hdfs 文件 处理 方法 以及 系统 设备 存储 介质 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海易点时空网络有限公司，未经上海易点时空网络有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201911140253.8/，转载请声明来源钻瓜专利网。
