[发明专利]数据处理的方法、装置和系统

说明书

本发明公开了一种数据处理的方法、装置和系统。其中，该方法包括：接收计算占用空间任务；获取计算占用空间任务中指定快照的占用数据块数量，以及指定快照与指定快照的第一父快照的差异数据块数量；依据占用数据块数量和差异数据块数量，得到计算占用空间任务中总占用数据块数量；其中，指定快照与第一父快照为相邻的快照。本发明解决了由于现有技术在计算快照占用空间上需要消耗大量的计算资源，从而影响云服务业务正常进行的技术问题。

技术领域

本发明涉及互联网技术领域，具体而言，涉及一种数据处理的方法、装置和系统。

背景技术

在现有的云服务业务中，云盘快照是需要占用OSS或者文件系统存储资源的。所以云盘快照的收费方式根据快照总的占用空间按GB进行收费。现有计算快照占用空间的算法为读取云盘所有的快照的索引映射(index map)，并把index map中的每个数据块信息插入到数据结构集合中。利用集合的键值key的唯一性在内存中对快照数据块去重来获得快照实际占用的逻辑空间。

由此可知目前的快照占用空间计算方法需要大量的额外空间和带宽资源，对于同时计算多个云盘快照占用空间的情况，系统资源将会大量消耗，影响正常的业务。

针对上述由于现有技术在计算快照占用空间上需要消耗大量的计算资源，从而影响云服务业务正常进行的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理的方法、装置和系统，以至少解决由于现有技术在计算快照占用空间上需要消耗大量的计算资源，从而影响云服务业务正常进行的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理的系统，包括：调度装置和数据处理装置，其中，调度装置，用于接收快照占用空间请求；依据快照占用空间请求生成至少一个计算占用空间任务，将每个计算占用空间任务发送至对应的数据处理装置；数据处理装置，用于接收计算占用空间任务，获取计算占用空间任务中指定快照的占用数据块数量，以及指定快照与指定快照的父快照的差异数据块数量；依据占用数据块数量和差异数据块数量，得到计算占用空间任务中总占用数据块数量，其中，指定快照与父快照为相邻的快照。

根据本发明实施例的另一方面，还提供了一种数据处理的方法，包括：接收计算占用空间任务；获取计算占用空间任务中指定快照的占用数据块数量，以及指定快照与指定快照的第一父快照的差异数据块数量；依据占用数据块数量和差异数据块数量，得到计算占用空间任务中总占用数据块数量；其中，指定快照与第一父快照为相邻的快照。

可选的，获取计算占用空间任务中指定快照的占用数据块数量，以及指定快照与指定快照的第一父快照的差异数据块数量包括：从预设索引映射表中获取指定快照的占用数据块数量；判断指定快照的第一父快照是否存在；在判断结果为是的情况下，依据第一父快照在预设索引映射表中的状态，获取第一父快照与指定快照的差异数据块数量；在判断结果为否的情况下，将指定快照的占用数据块数量确定为总占用数据块数量。

进一步地，可选的，依据第一父快照在预设索引映射表中的状态，获取第一父快照与指定快照的差异数据块数量包括：若第一父快照不在预设索引映射表中，则依据预设快照链进行遍历，获取第二父快照；获取第二父快照与指定快照的差异数据块数量；若第一父快照在预设索引映射表中，则获取第一父快照与指定快照的差异数据块数量。

可选的，获取第二父快照包括：获取与指定快照距离小于预设距离的快照；将快照确定为第二父快照。

可选的，获取第二父快照与指定快照的差异数据块数量包括：依据预设索引映射表中数据块管理的快照标识是否相同，获取第二父快照与指定快照的差异数据块数量；或，根据数据块的指纹信息获取第二父快照与指定快照的差异数据块数量。