[发明专利]一种文件读写方法及装置

说明书

技术领域

本发明涉及计算机技术领域，特别涉及一种文件读写方法及装置。

背景技术

随着计算机技术的快速发展，分布式存储系统的应用越来越广泛，比如，应用于视频网站中。视频网站的编辑或者外部用户上传的视频源文件，会经过如签名、反显、转码、截图、添加字幕、编辑、安检审核等一系列视频生产过程之后，才能生成可供用户浏览访问的视频文件。视频生产的每一步操作都由相应的客户机完成。在视频生产过程中，视频源文件、生产过程产生的中间文件和最后生成的视频文件的数量多、体积大，这就要求用于视频生产的存储系统有足够大的容量并且容易扩展，通常需要使用各类分布式存储系统。另外，这些文件类型多样、大小差异较大，单一的分布式存储系统往往无法同时满足不同文件的存储需求，需要针对不同文件使用不同类型的分布式存储系统。

不同类型的分布式存储系统通常会提供不同的访问接口，不同访问接口对应不同存储路径格式。比如，有些分布式存储系统(如OpenStack Swift、Amazon S3等)提供HTTP接口，其文件的存储路径通常是用HTTP URL格式来表示；有些分布式存储系统(如NFS、GlusterFs、Luster等)提供标准POSIX访问接口，其文件的存储路径通常是用层级存储目录格式来表示。

目前，如果视频网站使用不同类型的分布式存储系统，需要开发人员根据不同类型的分布式存储系统的不同存储路径格式编写客户机程序，且如果所使用的存储系统的类型发生改变，需要对客户机程序做较大改动，工作量较大，工作效率较低。

发明内容

为解决上述问题，本发明实施例公开了一种文件读写方法及装置。技术方案如下：

一种文件存储方法，应用于数据存储系统中的管理服务器，所述数据存储系统至少包含一台管理服务器和一个存储集群，所述方法包括：

接收客户机发送的针对待存储文件的存储请求；

根据所述存储请求，从一个或者多个存储集群中选择一个存储集群提供的逻辑存储单元作为所述待存储文件的存储单元，进一步确定所述待存储文件在所述存储单元中的存储路径；

根据所确定的存储路径，构建所述待存储文件的标准格式存储路径信息，所述标准格式存储路径信息中携带：存储单元类型、存储单元标识以及待存储文件在存储单元中的存储路径；

将所构建的所述待存储文件的标准格式存储路径信息返回给所述客户机，以由所述客户机根据所述存储单元的类型，将所述待存储文件的标准格式存储路径信息转换为：具有与该类型存储单元相对应格式的存储路径信息，并根据转换结果将所述待存储文件存储至所述存储单元。

在本发明的一种具体实施方式中，所述存储请求携带有所述待存储文件大小信息，所述根据所述存储请求，从一个或者多个存储集群中选择一个存储集群提供的逻辑存储单元作为所述待存储文件的存储单元，包括：

根据所述待存储文件大小信息，判断所述待存储文件是否为大文件；

如果是，则从适合大文件存储的存储集群类型对应的存储集群中选择一个存储集群提供的逻辑存储单元作为所述待存储文件的存储单元；

否则，从适合小文件存储的存储集群类型对应的存储集群中选择一个存储集群提供的逻辑存储单元作为所述待存储文件的存储单元。

在本发明的一种具体实施方式中，所述存储请求携带有与所述待存储文件相关联文件的存储路径信息，所述根据所述存储请求，从一个或者多个存储集群中选择一个存储集群提供的逻辑存储单元作为所述待存储文件的存储单元，包括：

根据与所述待存储文件相关联文件的存储路径信息，确定与所述待存储文件相关联文件的当前的存储单元；

将确定的与所述待存储文件相关联文件的当前的存储单元作为所述待存储文件的存储单元。

在本发明的一种具体实施方式中，在所述进一步确定所述待存储文件在所述存储单元中的存储路径之后、所述客户机根据转换结果将所述待存储文件存储至所述存储单元之前，还包括：

判断所确定的所述待存储文件在所述存储单元中的存储路径在所述存储单元中是否有相对应的存储目录；

如果否，则根据所确定的存储路径，在所述存储单元中创建相对应的存储目录。

一种文件读写方法，应用于与存储单元进行交互的客户机，所述方法包括：

获得文件读写指令，所述文件读写指令中携带：目标文件的标准格式存储路径信息，所述标准格式存储路径信息中携带：存储单元类型、存储单元标识以及目标文件在存储单元中的存储路径；