[发明专利]文件存取方法、装置和设备

说明书

本发明实施例提供一种文件存取方法、装置和设备，该方法包括：响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；根据性能参数从N个存储节点中确定出性能参数满足预设要求的M个存储节点以及确定M个存储节点分别对应的数据块，其中，所述文件被切分为由M个存储节点分别对应的数据块组成的P个数据块，N≥M>1；将P个数据块存入到对应的存储节点中。本方案中，通过结合各存储节点的性能来选出用于存储当前的文件的存储节点以及该存储节点能够存储的数据块大小和数量，从而提高分布式文件系统的存储性能。

技术领域

本发明涉及互联网技术领域，尤其涉及一种文件存取方法、装置和设备。

背景技术

在处于信息爆炸时代的当今，各种各样的业务所产生的数据量成指数倍的增长，为满足海量数据的存储容量、数据备份、数据安全等需求，分布式文件系统应运而生，分布式文件系统主要的功能是用于存储文档、图像、视频之类的非结构化数据。

简单来说，分布式文件系统由两类节点构成，一类是元数据服务器，主要用于管理文件系统的目录空间信息和客户端对文件的访问以及管理所有数据节点服务器；一类是数据节点服务器(也俗称为存储节点)，负责管理本节点上存储的数据块(也称为数据分片)。一般地，为了提高存储节点的I/O性能，需要存储的文件通常会被切分成多个数据块以存储在不同的存储节点上，并且为了保证数据不丢失，数据块还会以多个副本的形式进行存储，不同副本存储在不同存储节点上。

目前，一种常用的文件存储过程是：以固定分块大小比如为64MB来对需要存储的文件进行切分，进而将切分得到的各数据块以随机方式或轮转方式存入各存储节点中。这种以固定分块大小对文件进行切分，随机或轮转方式确定存储数据块的存储节点的方式，会对文件系统的存储性能、文件访问效率产生不利影响。

发明内容

有鉴于此，本发明实施例提供一种文件存取方法、装置和设备，用以提高分布式文件系统的存储性能。

第一方面，本发明实施例提供一种文件存取方法，包括：

响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；

根据所述性能参数从所述N个存储节点中确定出所述性能参数满足预设要求的M个存储节点以及确定所述M个存储节点分别对应的数据块，其中，所述文件被切分为由所述M个存储节点分别对应的数据块组成的P个数据块，N≥M>1，P>1；

将所述P个数据块存入到对应的存储节点中。

第二方面，本发明实施例提供一种文件存取装置，包括：

获取模块，用于响应于与待存储的文件对应的文件存储请求，获取N个存储节点的性能参数；

确定模块，用于根据所述性能参数从所述N个存储节点中确定出所述性能参数满足预设要求的M个存储节点以及确定所述M个存储节点分别对应的数据块，其中，所述文件被切分为由所述M个存储节点分别对应的数据块组成的P个数据块，N≥M>1，P>1；

存储模块，用于将所述P个数据块存入到对应的存储节点中。

第三方面，本发明实施例提供一种电子设备，包括处理器和存储器，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面中的文件存取方法。该电子设备还可以包括通信接口，用于与其他设备或通信网络通信。

本发明实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面中的文件存取方法。