[发明专利]优化去重后的数据的迁移/复制有效
申请号: | 201280058164.9 | 申请日: | 2012-11-13 |
公开(公告)号: | CN103959254A | 公开(公告)日: | 2014-07-30 |
发明(设计)人: | N·豪施泰因;T·克劳泽;D·J·维纳尔斯基 | 申请(专利权)人: | 国际商业机器公司 |
主分类号: | G06F12/00 | 分类号: | G06F12/00;G06F17/30 |
代理公司: | 北京市中咨律师事务所 11247 | 代理人: | 于静;张亚非 |
地址: | 美国*** | 国省代码: | 美国;US |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 优化 去重后 数据 迁移 复制 | ||
1.一种在数据处理系统中的用于优化去重后的数据从内部存储系统到可移动存储系统的迁移/复制的方法,所述方法包括:
基于存储在所述内部存储系统上的数据对象集的数量,确定要针对所述数据对象集生成的初步集群数;
基于所述数据对象集之间的最短距离生成所述初步集群数,其中每个集群包括一个或多个数据对象集,并且其中每个数据对象集包括一个或多个数据块;
通过标识在尽可能少的数据对象集内具有最大公共块数的集群,标识集群集中的选定集群;
判定所述选定集群的导出大小是否超过所述可移动存储系统的可用存储容量;以及
响应于所述选定集群的所述导出大小未超过所述可移动存储系统的所述可用存储容量,将所述选定集群导出到所述可移动存储系统。
2.根据权利要求1的方法,其中所述选定集群中的一个数据对象集中的至少一个数据块引用所述选定集群中的另一数据对象集中的至少一个数据块。
3.根据权利要求1的方法,还包括:
在所述选定集群已被导出到所述可移动存储介质之后,排除进一步考虑迁移与所述选定集群关联的数据对象集。
4.根据权利要求3的方法,还包括:
在排除进一步考虑迁移与所述选定集群关联的数据对象集之后,将对所述数据对象集在所述可移动存储系统上的位置的引用插入所述内部存储系统;以及
从所述内部存储系统删除与所述选定集群关联的所有数据。
5.根据权利要求1的方法,还包括:
在将所述选定集群导出到所述可移动存储系统之前,将所述选定集群中不属于所述选定集群一部分的块数据引用修改为不再引用这些数据块。
6.根据权利要求1的方法,其中基于存储在所述内部存储系统上的数据对象集的数量,确定要针对所述数据对象集生成的初步集群数包括:
生成块引用表,该表包括存储在所述内部存储系统上的数据对象集中汇总的全部多引用块;
生成块矩阵表,该表针对每个数据对象集指示该数据对象集所引用的多引用块;
使用所述块矩阵表,生成所述块矩阵表中针对每个数据对象集的点的n维表示;
使用所述数据对象集的所述表示作为n维空间中的点,计算每个所述数据对象集之间的度量值,该度量值指示每个所述数据对象集之间的距离;以及
将所获得的度量值插入度量矩阵。
7.根据权利要求1的方法,还包括:
响应于所述选定集群的所述导出大小超过所述可移动存储系统的所述可用存储容量,将该集群的排列添加到禁用集群列表;
判定所述选定集群是否具有两个以上的数据对象集;
响应于所述选定集群具有两个以上的数据对象集,从该集群中删除最后添加的数据对象集;
判定所述选定集群的新导出大小是否超过所述可移动存储系统的所述可用存储容量;以及响应于所述选定集群的所述新导出大小未超过所述可移动存储系统的所述可用存储容量,将最佳集群导出到所述可移动存储系统。
8.根据权利要求1的方法,还包括:
判定所述选定集群的所述导出大小是否超过所述可移动存储系统的所述可用容量减去预定安全裕度;以及
响应于所述选定集群的所述导出大小超过所述可移动存储系统的所述可用容量减去所述预定安全裕度,将所述选定集群导出到所述可移动存储系统。
9.根据权利要求8的方法,还包括:
响应于所述选定集群的所述导出大小未超过所述可移动存储系统的所述可用容量减去所述预定安全裕度,判定是否存在仍待迁移/复制的其它数据对象集;
响应于存在仍待迁移/复制的其它数据对象集,将与该集群中已有的所述数据对象集具有下一最短距离的下一数据对象集添加到所述选定集群;
判定所述选定集群的所述导出大小是否超过所述可移动存储系统的所述可用存储容量;以及
响应于所述选定集群的所述导出大小未超过所述可移动存储系统的所述可用存储容量,将所述选定集群导出到所述可移动存储系统。
10.根据权利要求1的方法,其中基于以下项中的至少一个确定所述数据对象集之间的距离:包括差值平方和之平方根的欧几里得距离;其中不计算平方根的欧几里得距离的变型;差值的绝对值之和;或从一个块到另一块的总访问时间。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国际商业机器公司,未经国际商业机器公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201280058164.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:存储装置
- 下一篇:打卡机的入卡光耦固定装置
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置