[发明专利]数据处理方法、装置、电子设备和计算机存储介质

说明书

本发明提出了一种数据处理方法、装置、电子设备和计算机存储介质，该方法包括：对镜像仓库中每个镜像的各版本去除重复的镜像层数据，得到所述每个镜像的实际使用数据的占用空间量；将所述每个镜像的空间使用量确定为：所述每个镜像的实际使用数据的占用空间量。如此，本发明中，可以针对每个镜像的各版本，进行去除重复的镜像层数据的处理，有利于准确地确定出每个镜像的实际占用空间大小。

技术领域

本发明涉及云计算领域，尤其涉及一种数据处理方法、装置、电子设备和计算机存储介质。

背景技术

在相关的容器镜像仓库系统中，镜像的命令格式通常为hub.com/test/nginx:latest；其中hub.com表示镜像仓库的域名；test通常为镜像空间的名字，或称为镜像组织，本质上就是一个标签，表示一组镜像的集合；nginx表示镜像的名称；latest表示镜像的具体版本。

对镜像仓库中的容量监控方案可以包括对仓库系统的整体监控方案，对仓库系统的整体监控方案主要用于实现对镜像仓库存储磁盘的监控，如此，可以查询出当前镜像仓库的总容量，以及当前磁盘的使用量。同时，由于镜像的基本单元是版本号，因此，也可以查询到仓库中具体一个镜像版本的大小；在镜像仓库中，镜像存储的粒度为镜像层，相同镜像的多个版本可能存在着很多重复的镜像层；发明人发现：如果直接将镜像多个版本的大小进行简单的求和，所计算出来的数据量比实际占用空间要大；同时由于镜像层数据在整个镜像仓库中共享，因此，无法基于镜像仓库的镜像空间实现存储的镜像数据的隔离，在多个镜像空间中经常存在着重复的镜像层数据，从而，无法基于镜像参考的每个镜像空间计算镜像数据的实际占用空间。

但是在实际应用场景中，一个镜像仓库需要分配给很多用户或很多组织来使用，每个用户或每个组织可以使用镜像仓库中的一个镜像空间，仓库管理员通常无法获知每个用户或组织对镜像空间的使用量情况。可能导致一个用户或一个组织过度使用镜像仓库中的镜像空间，导致其他组织没有足够的空间在存储自己的镜像；从而管理员无法对镜像仓库的使用进行有效的管理控制，以及对超量使用的用户进行相关的限制。

综上，在相关的镜像数据存储技术中，发明人发现：不同镜像空间中的镜像存在着大量镜像层的重复，同一镜像的不同版本间存在着大量的镜像层重复，导致难以统计出每个镜像的实际占用空间大小。另外，当基于用户指令向镜像仓库推送镜像时，如何实时地感知镜像仓库的镜像数据变化，并能够实时对推送镜像的实际占用大小进行精确统计，也是亟待解决的技术问题。

发明内容

本发明期望提供数据处理的技术方案，可以解决相关技术中不能对每个镜像的实际占用空间大小进行精确统计的问题。

本发明提供了一种数据处理方法，所述方法包括：

对镜像仓库中每个镜像的各版本去除重复的镜像层数据，得到所述每个镜像的实际使用数据的占用空间量；

将所述每个镜像的空间使用量确定为：所述每个镜像的实际使用数据的占用空间量。

可选地，所述对镜像仓库中每个镜像的各版本去除重复的镜像层数据，得到所述每个镜像的实际使用数据的占用空间量，包括：

对镜像仓库中每个镜像的各版本去除重复的镜像层数据，得到所述每个镜像的实际使用数据；

根据底层镜像层信息，确定所述每个镜像的实际使用数据的占用空间量。

可选地，所述镜像仓库包括至少两个镜像空间，每个镜像空间包括至少一个镜像；

所述方法还包括：确定每个镜像空间的所有镜像的空间使用量。

可选地，所述方法还包括：

接收上传至所述镜像仓库中的新镜像；

确定所述新镜像的空间使用量；