[发明专利]基于访问次数排名的虚拟节点副本调整系统及方法

说明书

本发明涉及一种基于访问次数排名的虚拟节点副本调整系统及方法。涉及计算机信息存储领域。本发明提出了一种基于虚拟节点访问排名的副本调整方法设计，当有新节点加入或者旧节点删除时，根据虚拟节点的访问次数排名，动态调整虚拟节点和物理节点的映射关系，实现了存储系统的负载均衡，提高了存储性能。

技术领域

本发明涉及计算机信息存储技术领域，具体涉及一种在对象存储中基于访问次数排名的虚拟节点副本调整系统及方法。

背景技术

随着互联网、物联网等技术发展，特别是web2.0数据密集型网络技术的广泛应用，使得非结构化数据呈指数型增长。预计到2020年，数据量将达到40ZB，其中80％是非结构化数据，其中大部分是非活跃数据。具有PB级别能力的扩展能力块存储和文件存储不能满足数据存储的需求，全新的存储系统架----对象存储应运而生。对象存储作为云存储的三种服务之一，满足了存储归档和云服务两大需求。在航天领域，可以用来存储卫星云图、飞行器运行轨道数据等非结构化数据，为云平台提供弹性扩容的存储服务。为保证数据的安全性，引入了副本技术。在副本调整方面，当物理节点加入或者删除时，由于虚拟节点副本调整的随机性，导致了系统的负载不均衡。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是：如何实现在有新节点加入存储系统或者旧节点从存储系统删除时，动态调整虚拟节点和物理节点的映射关系，实现存储系统的负载均衡，提高存储性能。

(二)技术方案

为了解决上述技术问题，本发明提供了一种基于访问次数排名的虚拟节点副本调整系统，包括：

虚拟节点访问次数排序模块，用于根据用户对虚拟节点的访问记录确定虚拟节点的访问次数，根据所述访问次数的多少，对存储系统中每个物理节点所属的虚拟节点进行排名；每个物理节点对应存储系统中的一个设备，物理节点所属的每一个虚拟节点为一个副本，或称为虚拟节点副本；

虚拟节点副本迁移列表计算模块，当有物理节点加入所述存储系统时，用于获取各个物理节点的权重，计算物理节点单位权重的虚拟节点数，根据各个物理节点的单位权重，将要调整的虚拟节点副本加入到一迁移列表中；当有物理节点要从所述存储系统中删除或者说退出时，将对应设备从设备列表中移除，根据单位权重的虚拟节点数计算剩余每个物理节点可接收的虚拟节点副本个数；所述单位权重等于设备权重除以设备容量；

虚拟节点副本调整模块，用于调整虚拟节点和物理节点之间的映射关系；有物理节点加入所述存储系统时，根据所述迁移列表，直接修改虚拟节点到物理节点的映射表；当有物理节点要从所述存储系统中删除或者说退出时，计算各个物理节点可接收的虚拟节点副本数量，并且按照物理节点的访问总数，计算单位权重的访问量，按照单位权重的访问量进行排序，依次从已删除的物理节点的虚拟节点列表中获取对应个数的虚拟节点副本分配给对应的物理节点。

优选地，所述虚拟节点副本访问排序模块包括虚拟节点副本访问次数记录子模块、物理节点拥有虚拟节点副本提取子模块、虚拟节点副本访问次数排序子模块；

所述虚拟节点副本访问记录子模块用于当用户请求对象时，对虚拟节点副本的访问次数进行记录，用户读取的对象为/account/container/object,调用Ring类的get_part()方法得到对象所在的虚拟节点part，Ring类的get_node()方法返回一个虚拟节点所在物理节点，为所有设备创建一个共享字典visit_Number_Dic用来记录每个虚拟节点副本的访问次数；