[发明专利]用于分布式存储系统的对象定位方法及电子设备

说明书

本发明实施例提供一种用于分布式存储系统的对象定位方法及电子设备，首先获取待访问对象的访问请求；然后根据访问请求携带的用户信息，确定待访问对象的指定虚拟存储位置；最后利用本地存储的虚拟存储位置与实际存储位置之间的映射关系，确定待访问对象的指定实际存储位置。通过虚拟存储位置与实际存储位置之间的映射关系的引入，不仅可以快速查找到待访问对象的实际存储位置，而且在本地存储的映射关系是一种轻量级元数据，可以大大节约元数据的存储空间，降低存储规模以及复杂度，减少了搭建及维护成本。

技术领域

本发明涉及数据存储技术领域，尤其涉及一种用于分布式存储系统的对象定位方法及电子设备。

背景技术

由于大数据、人工智能(Artificial Intelligence，AI)技术的高速发展，需要配置的存储系统具有更大的容量、更快的响应速度以及更大的带宽。现有的对象存储在规模超过10亿或者100亿之后性能急剧下降，元数据存储急剧膨胀，而大数据和AI计算又会大量使用小文件，导致文件的元数据存储代价接近甚至有可能超过文件本身。

现有的大规模并发对象存储系统的元数据存储绝大多数是基于TiDB或者TiKV的KV存储作为统一的元数据中心，通过KV数据库来存放元数据，在读取时通过KV数据库查询对象的元数据并通过元数据的信息定位对象的真实存储地址。

现有技术使用TiDB或者TiKV作为元数据中心的元数据存储，其性能决定了整个系统的性能。TiDB作为一种kv数据库，虽然拥有很好的查询性能和可扩展性，但是随着存储规模的扩大，当数据量超过万亿，十万亿乃至百万亿时，任何通过元数据系统实现的查询特别是sql查询都有可能成为性能瓶颈，这是由于存储、读出、浏览(scan)的系统性能决定的，而为了提速，进行拆分有可能极大的推高元数据系统的成本。

发明内容

本发明实施例提供一种用于分布式存储系统的对象定位方法、分布式存储系统、电子设备以及存储介质，用以解决现有技术中存在的缺陷。

本发明实施例提供一种用于分布式存储系统的对象定位方法，包括：

获取待访问对象的访问请求，其中，所述访问请求携带所述待访问对象的用户信息；

基于所述用户信息，确定所述待访问对象的虚拟存储位置；

利用本地存储的虚拟存储位置与实际存储位置之间的映射关系，确定所述待访问对象的实际存储位置。

根据本发明一个实施例的用于分布式存储系统的对象定位方法，所述用户信息对应若干版本的虚拟存储集合，所述虚拟存储集合包括多个虚拟存储位置；所述基于所述用户信息，确定所述待访问对象的指定虚拟存储位置，包括：

确定所述用户信息对应的活跃版本的虚拟存储集合；

从所述活跃版本的虚拟存储集合中，确定所述待访问对象的指定虚拟存储位置。

根据本发明一个实施例的用于分布式存储系统的对象定位方法，所述访问请求还携带有所述待访问对象的标识信息；所述从所述活跃版本的虚拟存储集合中，确定所述待访问对象的指定虚拟存储位置，包括：

基于所述标识信息以及所述活跃版本中的最新版本，确定所述待访问对象的虚拟标识；

从所述活跃版本的虚拟存储集合中查找出与所述虚拟标识对应的虚拟存储位置作为所述待访问对象的指定虚拟存储位置。

根据本发明一个实施例的用于分布式存储系统的对象定位方法，所述方法还包括：

接收待存储对象的存储请求，其中，所述存储请求携带有所述待存储对象的用户信息；

利用本地存储的虚拟存储位置与实际存储位置之间的映射关系，将所述待存储对象存入与所述目标虚拟存储位置对应的目标实际存储位置。