[发明专利]一种基于动态预取策略的Docker容器COW机制优化方法及系统

说明书

本发明公开了一种基于动态预取策略的Docker容器COW机制优化方法及系统，属于容器轻量级虚拟化领域。包括：采集各Docker容器生命周期内被执行COPY UP操作的所有镜像文件的元数据信息；根据采集到的元数据信息，动态预测新Docker容器运行期间将被执行COPY UP操作的镜像文件；在新Docker容器启动后，对预测得到的将被执行COPY UP操作的镜像文件执行COPY UP操作。本发明基于同一镜像的容器内部操作大概率相同的特性，对Docker容器内部被执行COPY UP操作的镜像文件元数据信息进行记录，形成Docker镜像对应的历史信息。利用该历史信息，预测新容器运行期间最有可能被执行COPY UP操作的镜像文件，在新容器运行初期，对这些镜像文件执行预先的COPY UP操作，消除了Docker容器因COW机制产生额外开销。

技术领域

本发明属于容器轻量级虚拟化领域，更具体地，涉及一种基于动态预取策略的Docker容器COW机制优化方法及系统。

背景技术

随着容器技术不断发展，越来越多的用户采用轻量级虚拟化的容器技术来部署自己的系统与应用，以便于更快速地迭代系统和产品版本，以及快速地部署大量的服务。目前Docker项目在容器技术中占据着主要的地位。Docker使用的存储驱动主要为OverlayFS、AUFS、DeviceMapper以及BtrFS。由于性能以及Linux内核支持的问题，OverlayFS在众多存储驱动中脱颖而出。OverlayFS是一种堆叠式的文件系统，它依赖并建立的其它的底层文件系统(例如：ext4，XFS等)之上，并不主动参与磁盘的空间结构划分。OverlayFS的主要功能是提供接口，将底层不同的目录进行合并，然后给上层用户提供统一的视图。Docker容器利用了OverlayFS的这一特性，将镜像文件设置成只读并且与容器的可读写层进行合并，提供给容器用户一个整体的虚拟操作系统视图，其中，镜像文件默认在下层而容器的可读写层在上层。当用户需要对下层的镜像文件进行一些访问时(例如：以可写的方式open文件，修改文件或目录的属性/扩展属性，重命名，创建硬链接等等)，都会触发OverlayFS的COPY UP操作。

在Docker的容器设计中，应用到了一个重要的存储策略COW(copy on write)，即镜像文件为只读文件。当依赖该镜像文件启动的容器需要修改镜像文件时，需要先将其COPY UP到容器上层的读写层中，再进行访问。这种策略的好处是：同一镜像文件可以提供给不同的容器实例使用，极大地节省了镜像文件的存储空间。但是相对地，容器在执行COPYUP操作时，对其中运行的应用带来极大的额外开销。

目前很多研究工作中均提出了COPY UP带来额外开销问题，但是很少有研究能够真正缓解或者解决这个问题。大部分的研究者试图从COPY UP底层实现的角度，Linux系统内核中来缓解这个问题，例如合并被执行COPY UP操作的文件的同步操作，但是这会影响文件系统的执行流程，额外带来不可测的结果会导致数据拷贝正确性降低。

综上，现有研究Docker容器的COW机制优化的工作很少，而且基本上都是从底层实现的角度去优化，需要对内核进行一定程度的修改。这样的设计实现起来十分复杂，且由于对内核的修改导致设计的部署与应用十分麻烦。

发明内容

针对现有技术的缺陷，本发明的目的在于解决现有技术COPY UP操作带来额外开销、COW优化实现复杂的技术问题。

为实现上述目的，第一方面，本发明实施例提供了一种基于动态预取策略的Docker容器COW机制优化方法，所述方法包括以下步骤：

S1.采集各Docker容器生命周期内被执行COPY UP操作的所有镜像文件的元数据信息；

S2.根据采集到的元数据信息，动态预测新Docker容器运行期间将被执行COPY UP操作的镜像文件；

S3.在新Docker容器启动后，对预测得到的将被执行COPY UP操作的镜像文件执行COPY UP操作。