[发明专利]模块化数据操作系统

说明书

在各个实施例中，提供了用于实现模块化数据操作的方法和系统。与数据相关联的数据访问请求在数据访问组件处被接收。数据访问组件基于配置设置来选择性地实现模块化数据操作功能性。与工作集相关联的转换表基于数据访问组件的配置设置来被访问，以确定用于执行数据访问请求的位置。数据访问请求使用高速缓存存储或与工作集相关联的后备存储来被执行。数据访问请求使用以下来被执行：使用工作集的转换表所确定的位置。当数据被高速缓存在高速缓存存储中时，数据访问请求使用高速缓存存储来被执行，而当数据未高速缓存在高速缓存存储中时，数据访问请求基于后备存储来被执行。

背景

云计算基础设施(分布式计算系统)支持可配置计算、存储和联网资源的共享池上的操作。例如，云计算基础设施可实现被配置成运行由操作系统(OS)支持的多个虚拟机(VM)的计算节点。计算节点供应分配给VM的资源。随着对云计算基础设施中计算容量的需求持续增长，计算节点现在支持越来越多数量的VM。然而，计算节点的VM数量上的增加影响着被实现以满足计算节点上越来越多数量的VM的输入/输出(I/O)要求的底层数据计算、存储和网络资源的性能。由此，需要工具来管理和控制VM数据操作，以便改进云计算基础设施中的性能。

概述

本文中所描述的各实施例提供了用于基于模块化数据操作系统来管理和控制分布式计算系统中的数据操作的方法和系统。在高层次处，模块化数据操作系统利用重定向器文件系统、后备存储和使用数据访问组件的高速缓存存储来改进数据访问性能。数据访问组件还实现高速缓存存储数据结构、高速缓存块惰性写入(cache block lazy writing)和数据访问扼流(data access throttling)，作为模块化数据操作系统框架的一部分。模块化数据操作系统包括若干组件，这些组件可根据需要来被选择性地实现，以改进访问被储存在分布式计算系统中的数据(例如，读取或写入文件系统数据)时的性能。具体而言，数据访问组件使用能基于文件代理(例如，表面(surface))操作的重定向器文件系统来获得对后备存储的访问。数据访问组件在使用文件代理访问后备存储(例如，具有转换表的团块(blob)存储)中的数据(例如，页面团块)时进一步配置用于高速缓存存储(例如，计算节点SSD或RAM)的高速缓存存储数据结构(例如，与后备存储的转换表一起操作的工作集)以与后备存储一起操作。高速缓存存储高速缓存与数据访问请求(例如，读取操作或写入操作)相关联的数据。由此，高速缓存存储至少包括来自后备存储的数据的子集。高速缓存存储基于使用数据访问组件配置的高速缓存存储数据结构(例如，工作集)来操作。具体而言，配置设置可以在数据访问组件中被定义，以支持模块化数据操作系统的各组件。高速缓存存储数据结构包括与转换表(例如，用于对应后备存储的块地址转换表)相关联的两层级高速缓存系统，以用于访问数据访问请求的数据。在使用高速缓存存储数据结构的情况下，可以在高速缓存存储或作为用于其中定义的数据对象的存储库操作的后备存储处访问数据。数据可指代通过特定解释动作给出含义的一个或多个符号的序列。数据可以是被储存在高速缓存存储或后备存储处所支持的不同数据结构中的存储器地址。

数据访问组件支持不同类型的高速缓存策略，由此，高速缓存块基于对应的高速缓存策略来被处理。在本公开的各个实施例中，数据访问组件还可实现高速缓存块惰性写入器以惰性地写入高速缓存块。数据访问组件还支持数据访问扼流组件，以限制数据访问组件处所处理的输入/输出(I/O)请求的最大数量或速率。具体而言，数据访问组件实现了针对处理模块化数据操作系统的不同组件处的数据请求进行扼流，以在访问所请求的数据时提供一致的性能。

提供本概述以便以简化的形式介绍将在以下的详细描述中进一步描述的一些概念。本概述不旨在标识所要求保护的主题的关键特征或本质特征，也不旨在独立地用于帮助确定所要求保护的主题的范围。

附图简述

下面参考附图详细描述本发明，其中：

图1是其中本文中所描述的各实施例可被采用的示例性模块化数据操作系统的框图；

图2是其中本文中所描述的各实施例可被采用的示例性模块化数据操作系统的框图；