[发明专利]用于去重的方法和设备

说明书

本公开的各实施例涉及用于去重的方法和设备。具体地，该方法包括获取文件流的属性，文件流的属性包括文件类型或者标识协议或者文件的格式的幻数；响应于接收到针对文件流的数据块的I/O请求，基于文件流的属性，为I/O请求指派去重级别；以及基于被指派给I/O请求的去重级别，对文件流的数据块进行去重，至少部分通过响应于被指派的去重级别是第一去重级别，跳过对文件流的数据块的去重。

相关申请引用

本申请是申请号为201710408364.7、申请日为2017年6月2日、发明名称为“用于去重的方法和设备”的发明专利申请的分案申请。

技术领域

本公开的各实施例总体上涉及计算机存储领域，具体地涉及一种用于去重的方法、设备和计算机程序产品。

背景技术

在当今社会中，计算机系统是司空见惯的。计算机系统可在工作地点、在家或者在学校找到。计算机系统可包括用来处理和存储数据的数据存储系统或者磁盘存储系统。一个这种处理是数据去重。数据去重指代冗余数据的减少和/或消除。在数据去重处理中，数据的重复副本被减少或者消除，从而分别留下最小量的冗余副本，或者数据的单个副本。使用去重处理提供各种益处，诸如所需存储容量的减少和对网络带宽的减少的需要。由于这些以及其他益处，去重近年来已经显现为计算存储系统中的高度重要技术领域。

随着用户可以在存储空间上拥有、创建、修改和/或删除容器和对象的存储服务的显现，通过I/O请求对存储空间的访问已经显著增加。这种存储服务的用户通常在存储服务提供商所披露的应用编程接口(API)的帮助下对拥有的存储空间执行这些操作。尽管向用户披露API已经非常有用，但是将API用于对存储服务执行操作已经在数据去重领域对服务提供商提出了附加问题。因此，存在存储服务提供商使用去重技术来减少对存储服务空间的消耗的需要。

发明内容

本公开的各实施例提供了一种用于去重的方法、设备和计算机程序产品。

根据本公开的第一方面，提供了一种用于去重的方法。该方法可以包括获取文件流属性，其中该文件流属性可以包括文件类型或者标识协议或文件的格式的幻数。该方法还可以包括响应于接收到针对文件流的数据块的I/O请求，基于文件流属性，为该I/O请求指派去重级别。此外，该方法还可以包括基于被指派给I/O请求的去重级别，对文件流的数据块进行去重。

在一个示例性实施例中，其中为I/O请求指派去重级别可以包括基于文件流属性来确定文件流是否经过压缩；以及基于所确定的结果来指派去重级别。

在一个示例性实施例中，其中基于所确定的结果来指派去重级别可以包括：响应于确定文件流经过压缩，为I/O请求指派第一去重级别；响应于无法确定文件流是否经过压缩，为I/O请求指派第二去重级别；以及响应于确定文件流未经过压缩，为I/O请求指派第三去重级别。

在一个示例性实施例中，其中对文件流的数据块进行去重可以包括：响应于被指派的去重级别是第一去重级别，跳过对文件流的数据块进行去重；响应于被指派的去重级别是第二去重级别，基于可用计算资源的状态对文件流的数据块进行去重；以及响应于被指派的去重级别是第三去重级别，对文件流的数据块进行去重。

在一个示例性实施例中，其中基于可用计算资源的状态对文件流的数据块进行去重可以进一步包括：响应于可用计算资源在预定阈值以上，对文件流的数据块进行去重；以及响应于可用计算资源低于预定阈值，跳过对文件流的数据块进行去重。

在一个示例性实施例中，其中对文件流的数据块进行去重可以包括：响应于被指派给I/O请求的去重级别是第二去重级别，跳过对文件流的数据块进行去重，而不考虑可用计算资源的状态。

在一个示例性实施例中，该方法还可以包括：在为I/O请求指派去重级别之后，计算I/O请求的指纹，该指纹标识该I/O请求所针对的数据块；以及将指纹存储在高速缓存中。