[发明专利]一种文件管理方法、程序产品、主控节点及存储介质

说明书

本申请提供一种文件管理方法、程序产品、主控节点及存储介质，该方法包括：接收终端设备发送的文件请求，文件请求包括目标文件的文件标识；查找到目标文件的文件标识对应的卷标识；判断卷标识对应的数据卷是否加载在服务节点中；若是，则获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。在上述的实现过程中，通过确定该目标文件对应的卷标识对应的数据卷加载在服务节点中，就向终端设备发送映射文件，终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，有效地减少了服务节点处理文件请求的时长，从而提高了小文件的处理效率。

技术领域

本申请涉及计算机文件管理的技术领域，具体而言，涉及一种文件管理方法、程序产品、主控节点及存储介质。

背景技术

在计算机视觉领域的人工智能训练中，常常需要大量随机读取数据集中的图片文件，具体例如4～1024KB级别的小文件训练数据集，通常对于这种小文件训练数据集进行管理都是采用分布式文件系统服务来管理的。然而，在具体的实践过程中发现，常见的分布式文件系统服务对于大量大小为4～1024KB级别的小文件的处理效率比较慢。

发明内容

本申请实施例的目的在于提供一种文件管理方法、程序产品、主控节点及存储介质，以改善上述技术问题。

为实现上述目的，本申请实施例提供如下技术方案：

第一方面，本申请实施例提供了一种文件管理方法，应用于主控节点，包括：接收终端设备发送的文件请求，文件请求包括目标文件的文件标识；查找到目标文件的文件标识对应的卷标识；判断卷标识对应的数据卷是否加载在服务节点中；若是，则获取服务节点对应的映射文件，并向终端设备发送映射文件，映射文件包括：服务节点标识与卷标识之间的映射关系。在上述的实现过程中，通过确定该目标文件对应的卷标识对应的数据卷加载在服务节点中，就向终端设备发送映射文件，终端设备可以根据映射文件从能够从预先加载数据卷的服务节点中获取目标文件，避免了服务节点临时加载数据卷来提高目标文件的情况，有效地减少了服务节点处理文件请求的时长，从而提高了小文件的处理效率。

在第一方面的一种实现方式中，在判断卷标识对应的数据卷是否加载在服务节点中之后，还包括：若卷标识对应的数据卷没有加载在服务节点中，则向终端设备发送对象存储服务的地址信息文件，对象存储服务用于向终端设备提供目标文件。在上述的实现过程中，通过确定卷标识对应的数据卷没有加载在服务节点中，则向终端设备发送对象存储服务的地址信息文件，从而保证该终端设备始终能够访问目标文件。

在第一方面的一种实现方式中，在向终端设备发送对象存储服务的索引地址之后，还包括：获取卷标识对应的数据卷；将卷标识对应的数据卷加载在服务节点中。在上述的实现过程中，通过获取卷标识对应的数据卷；将卷标识对应的数据卷加载在服务节点中，以便该数据卷中的文件在被下次访问到时，服务节点就可以直接从该数据卷中返回想要访问的文件，而不需要再次加载该卷标识对应的数据卷，从而提升了终端设备访问重复数据卷中文件的访问效率和访问速度。

在第一方面的一种实现方式中，在向终端设备发送映射文件之后，还包括：查找文件标识关联的卷标识；向终端设备发送文件标识关联的卷标识对应的映射文件。在上述的实现过程中，通过提前预加载机制将关联的卷标识与服务节点对应的映射文件推送给终端设备，以使终端设备再次使用到该映射文件时，就不用再次请求该映射文件，而是直接使用该映射文件到服务节点获取文件即可；这种方式有效地提高了数据卷的使用命中率，从而提高了对数据卷上的小文件的访问效率和速度。

在第一方面的一种实现方式中，在判断卷标识对应的数据卷是否加载在服务节点中之前，还包括：接收终端设备发送的文件存储请求；获取文件存储请求对应的文件数据，并将文件数据存储在卷标识对应的数据卷中。

在第一方面的一种实现方式中，文件存储请求包括：对象存储服务的索引地址；获取文件存储请求对应的文件数据，包括：根据索引地址从对象存储服务中获取文件存储请求对应的文件数据。