[发明专利]分布式存储和检索方法、装置及计算机设备

说明书

本发明涉及计算机存储技术领域，提供了一种分布式存储和检索方法、装置及计算机设备。所述分布式存储和检索方法包括：获取待存储文件，在预先构建的分布式存储系统中为待存储文件分配存储空间，将待存储文件保存在存储空间中；当检测到有多个存储空间时，将多个存储空间进行连续空间位置标记；在待存储文件的各个数据块的头部配置索引信息及属性信息，并将索引信息、属性信息及对应的数据块保存在同一存储空间中；响应于用户发起的文件查询请求，从文件查询请求中提取出请求信息，根据请求信息、索引信息及属性信息在分布式存储系统中查询相应的目标文件，将目标文件发送给用户，从而实现碎片化管理各个存储文件，操作简单且高效。

技术领域

本发明涉及计算机存储技术领域，尤其涉及一种分布式存储和检索方法、装置及计算机设备。

背景技术

随着计算机技术的飞速发展、信息量的与日俱增，存储系统已经成为计算机系统尤其是大型分布式计算机系统的瓶颈。分布式文件系统可以方便有效地管理存储系统，并充分发挥存储子系统的性能。

现有的分布式存储和检索方法，存储和检索方式繁琐，无法快速高效地为文件分配存储空间。

发明内容

本发明提供一种分布式存储和检索方法、装置及计算机设备，实现快速高效地为文件分配存储空间。

为解决上述问题，本发明采用如下技术方案：

本发明提供一种分布式存储和检索方法，包括如下步骤：

获取待存储文件，在预先构建的分布式存储系统中为所述待存储文件分配存储空间，将所述待存储文件保存在所述存储空间中；其中，所述待存储文件包括多个数据块；

当检测到有多个存储空间时，将所述多个存储空间进行连续空间位置标记；

在所述待存储文件的各个数据块的头部配置索引信息及属性信息，并将所述索引信息、属性信息及对应的数据块保存在同一存储空间中；

响应于用户发起的文件查询请求，从所述文件查询请求中提取出请求信息，根据所述请求信息、索引信息及属性信息在所述分布式存储系统中查询相应的目标文件，将所述目标文件发送给所述用户。

在一实施例中，所述将所述待存储文件保存在所述存储空间中的步骤之后，还包括：

获取所述待存储文件的分配记录与回收记录；

将所述分配记录与回收记录保存在所述分布式存储系统的缓存及动态空间数据块中；其中，所述缓存用于分配与回收存储空间，所述动态空间数据块用于在所述待存储文件分配或回收异常后，将所述待存储文件恢复至所述缓存中继续使用。

在一实施例中，所述将所述待存储文件保存在所述存储空间中的步骤之后，还包括：

当检测到所述存储空间当前使用的内存空间大于预定阈值时，将所述缓存的内存空间按照预设比例进行释放；

将大于预定阈值的所述待存储文件的数据块加载到释放后的所述缓存中。

在一实施例中，所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间，将所述待存储文件保存在所述存储空间中的步骤，包括：

获取分布式存储系统的所有存储空间的使用次数，筛选出使用次数低于预设次数的存储空间，得到目标存储空间；

为所述待存储文件分配目标存储空间，并将所述待存储文件保存在所述目标存储空间中。

在一实施例中，所述在预先构建的分布式存储系统中为所述待存储文件分配存储空间，将所述待存储文件保存在所述存储空间中的步骤，包括：

获取所述分布式存储系统的所有存储空间，从所有存储空间中筛选出可使用的多个存储空间，得到多个目标存储空间；