[发明专利]数据读取方法、装置及电子设备

说明书

本发明实施例提供了数据读取方法、装置及电子设备。该方法包括：接收文件系统发送的数据请求；基于预先建立的路径与数据标识之间的对应关系，确定与所述目标路径对应的目标数据标识；基于所述目标数据标识，从所述对象存储系统中读取目标数据，并向所述文件系统反馈所述目标数据，以使所述文件系统在接收到所述目标数据后向所述任务端反馈所述目标数据。通过本方案，可以提升数据读取的效率。

技术领域

本发明涉及数据存储技术领域，特别是涉及数据读取方法、装置及电子设备。

背景技术

数据存储系统是一种常用的提供数据存储、数据读写等服务的系统。现有的数据存储系统中存在一种以文件系统为界面层，而以对象存储系统为数据存储层的数据存储结构，通过文件系统的挂载工具，可以将针对文件系统的请求转变为针对对象存储的请求。

现有技术中，文件系统通过层级访问的方式访问数据，而在对象存储系统中并没有层级结构，故而需要通过LIST请求和Delimiter切分在对象存储系统中模拟文件系统的层级结构。然而由于通过LIST请求读取数据时非常耗时，从而导致数据读取时效率较低。

发明内容

本发明实施例的目的在于提供数据读取方法、装置及电子设备，以提高读取数据的效率。具体技术方案如下：

第一方面，本发明实施例提供了一种数据读取方法，应用于管理装置，所述管理装置与数据存储系统中的文件系统和对象存储系统相通信，且所述对象存储系统中存储有用于深度学习网络模型训练的数据，所述方法包括：

接收文件系统发送的数据请求；其中，所述数据请求为所述文件系统在接收到训练任务端发送的训练数据获取请求时所发送的请求；所述数据请求中携带所述训练数据获取请求所请求的数据在所述文件系统内的目标路径，所述训练任务端为：用于对深度学习网络模型进行训练的任务端；

基于预先建立的路径与数据标识之间的对应关系，确定与所述目标路径对应的目标数据标识；其中，与每一路径对应的数据标识为：所述文件系统中该路径下的数据在对象存储系统中的数据标识；

基于所述目标数据标识，从所述对象存储系统中读取目标数据，并向所述文件系统反馈所述目标数据，以使所述文件系统在接收到所述目标数据后向所述任务端反馈所述目标数据。

进一步的，具体应用与所述管理装置的缓存管理器，所述管理装置还包括名称管理器，所述名称管理器用于存储预先建立的路径与数据标识之间的对应关系；

所述基于预先建立的路径与数据标识之间的对应关系，确定与所述目标路径对应的目标数据标识，包括：

向所述名称管理器发送携带有所述目标路径的标识获取请求，以使所述管理装置在基于所述对应关系，确定与所述目标路径对应的目标数据标识后反馈所述目标数据标识；

接收所述名称管理器反馈的所述目标数据标识。

进一步的，所述方法还包括：

当检测到所述对象存储系统存储数据时，获取所述对象存储系统所存储的数据的数据标识和针对所存储的数据的路径；

建立所获取的路径与所获取的数据标识之间的对应关系。

进一步的，获取针对所存储的数据的路径，包括：

获取所存储的数据所在的各层数据目录的目录路径以及所存储的数据的数据路径；

所述建立所获取的路径与所获取的数据标识之间的对应关系，包括：

针对所获取的目录路径和数据路径中的每一路径，建立该路径与所获取的数据标识之间的对应关系。

进一步的，所述针对所获取的目录路径和数据路径中的每一路径，建立该路径与所获取的数据标识之间的对应关系，包括：