[发明专利]一种分布式文件系统的自适应压缩方法及系统有效
| 申请号： | 201610030950.8 | 申请日： | 2016-01-18 |
| 公开（公告）号： | CN105718538B | 公开（公告）日： | 2019-05-14 |
| 发明（设计）人： | 查礼;王锐坚;王超 | 申请（专利权）人： | 中国科学院计算技术研究所 |
| 主分类号： | G06F16/174 | 分类号： | G06F16/174;G06F16/182 |
| 代理公司： | 北京律诚同业知识产权代理有限公司 11006 | 代理人： | 祁建国;梁挥 |
| 地址： | 100190 北*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 分布式 文件系统 自适应 压缩 方法 系统 | ||
1.一种分布式文件系统的自适应压缩方法，其特征在于，包括：
步骤1，设置压缩文件格式，形成压缩数据流，所述压缩数据流由头部信息与多个数据块组成，其中所述头部信息用于判断所述压缩数据流是否已经过压缩；
步骤2，接收待压缩文件，将所述待压缩文件按照所述压缩文件格式将所述待压缩文件进行压缩生成所述压缩数据流；
步骤3，设置索引文件，其中所述索引文件由多个记录组成，每条记录维护所述压缩数据流中数据的数据信息，所述索引文件用于快速定位所述压缩数据流；
其中所述步骤2包括获取客户端的写请求，所述分布式文件系统的命名空间节点告知所述待压缩文件所在的数据节点，所述客户端与数据节点通信，所述客户端传输待压缩数据给所述数据节点，通过自适应压缩理论模型获取最优压缩算法，选择最优压缩算法后，将所述待压缩数据进行压缩，生成所述压缩数据流，将所述压缩数据流发送给所述数据节点；
所述自适应压缩理论模型为
|CR×R-TR|,CR＞TR且R＜0.8
R为各压缩算法之间的压缩比，CR为各压缩算法之间的压缩速率，TR数据传输速率。
2.如权利要求1所述的分布式文件系统的自适应压缩方法，其特征在于，所述数据信息包括所述待压缩文件的位置、所述待压缩文件在压缩文件中的位置、所述待压缩文件的大小。
3.一种分布式文件系统的自适应压缩系统，其特征在于，包括：
设置压缩文件格式模块，用于设置压缩文件格式，形成压缩数据流，所述压缩数据流由头部信息与多个数据块组成，其中所述头部信息用于判断所述压缩数据流是否已经过压缩；
压缩模块，用于接收待压缩流文件，将所述待压缩文件按照所述压缩文件格式将所述待压缩文件进行压缩生成所述压缩数据流；
设置索引文件模块，用于设置索引文件，其中所述索引文件由多个记录组成，每条记录维护所述压缩数据流中数据的数据信息，所述索引文件用于快速定位所述压缩数据流；
其中所述压缩模块包括获取客户端的写请求，所述分布式文件系统的命名空间节点告知所述待压缩文件所在的数据节点，所述客户端与数据节点通信，所述客户端传输待压缩数据给所述数据节点，通过自适应压缩理论模型获取最优压缩算法，选择最优压缩算法后，将所述待压缩数据进行压缩，生成所述压缩数据流，将所述压缩数据流发送给所述数据节点；
所述自适应压缩理论模型为
|CR×R-TR|,CR＞TR且R＜0.8
R为各压缩算法之间的压缩比，CR为各压缩算法之间的压缩速率，TR数据传输速率。
4.如权利要求3所述的分布式文件系统的自适应压缩系统，其特征在于，所述数据信息包括所述待压缩文件的位置、所述待压缩文件在压缩文件中的位置、所述待压缩文件的大小。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所，未经中国科学院计算技术研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201610030950.8/1.html，转载请声明来源钻瓜专利网。
