[发明专利]一种基于HDFS的小文件合并工具和方法在审
| 申请号： | 201510969396.5 | 申请日： | 2016-01-28 |
| 公开（公告）号： | CN105653592A | 公开（公告）日： | 2016-06-08 |
| 发明（设计）人： | 杨胜华;王传超;崔乐 | 申请（专利权）人： | 浪潮软件集团有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 济南信达专利事务所有限公司 37100 | 代理人： | 李世喆 |
| 地址： | 250100 山东*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种基于HDFS的小文件合并工具和方法，应用于集群中能够与HDFS包含的各个节点交互信息的服务器，包括：设置单元，用于设置小文件合并规则；生成目录单元，用于确定目录参数，并根据目录参数，生成输入/输出目录；传输单元，用于设置小文件阈值，并根据小文件阈值，确定外设的各个节点中的小文件，并将确定的小文件存储到生成目录单元生成的输入目录中；读取合并单元，用于遍历输入目录，并读取输入目录中符合设置单元设置的合并规则的至少两个小文件，将至少两个小文件合并为至少一个数据文件，并将至少一个数据文件存储到生成目录单元生成的输出目录中，能够有效的提高文件处理的效率。 | ||
| 搜索关键词： | 一种 基于 hdfs 文件 合并 工具 方法 | ||
【主权项】：
一种基于HDFS的小文件合并工具，其特征在于，应用于集群中能够与HDFS包含的各个节点交互信息的服务器，包括：设置单元，用于设置小文件合并规则；生成目录单元，用于确定目录参数，并根据所述目录参数，生成输入/输出目录；传输单元，用于设置小文件阈值，并根据所述小文件阈值，确定所述外设的各个节点中的小文件，并将确定的小文件存储到所述生成目录单元生成的所述输入目录中；读取合并单元，用于遍历所述输入目录，并读取所述输入目录中符合所述设置单元设置的合并规则的至少两个小文件，将所述至少两个小文件合并为至少一个数据文件，并将所述至少一个数据文件存储到所述生成目录单元生成的输出目录中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于浪潮软件集团有限公司，未经浪潮软件集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510969396.5/，转载请声明来源钻瓜专利网。
