[发明专利]数据处理方法、装置、设备及存储介质

说明书

本公开提供一种数据处理方法、装置、设备及存储介质，其中方法包括：接收第一数据方发送的数据处理请求；对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。

技术领域

本公开涉及数据存储技术领域，具体涉及一种数据处理方法、装置、设备及存储介质。

背景技术

在深度学习的模型训练过程中，需要给GPU或AI(Artificial Intelligence，人工智能)芯片提供高速的数据输入/输出，以便于GPU或AI芯片快速获取用于模型训练的数据集中的数据。相关技术中，通常借助MemCache(一套分布式的高速缓存系统，由LiveJournal的Brad Fitzpatrick开发)一类的内存缓存软件，在内存中实现对数据集的缓存。由于数据集的数据量通常较大，所以该方式会消耗大量的内存，较高的内存成本给大规模的模型训练带来了大量的成本消耗。

发明内容

本公开提供了一种数据处理方法、装置、设备及存储介质。

根据本公开实施例的第一方面，提供一种数据处理方法，应用于数据存储设备，所述数据存储设备运行基于固态硬盘实现的文件系统，所述文件系统中包括至少一个基础逻辑块，所述方法包括：接收第一数据方发送的数据处理请求；对所述数据处理请求进行解析，得到所述基础逻辑块的块地址、所述基础逻辑块中的偏移量和待处理数据长度；根据所述块地址和所述偏移量，在所述基础逻辑块中确定数据处理操作的起始操作位置；在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作。

在一些可选实施例中，所述第一数据方包括：GPU、AI芯片或CPU。

在一些可选实施例中，在所述数据处理请求包括数据读取请求的情况下，所述待处理数据长度包括待读取数据长度；所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可读取数据长度；在所述可读取数据长度小于等于所述待读取数据长度的情况下，对所述基础逻辑块中对应所述可读取数据长度的数据进行读取操作；或者，在所述可读取数据长度大于待读取数据长度的情况下，对所述基础逻辑块中对应所述待读取数据长度的数据进行读取操作。

在一些可选实施例中，在所述数据处理请求包括数据写入请求的情况下，所述数据写入请求中包括待写入数据，所述待处理数据长度包括所述待写入数据的待写入数据长度；所述在所述基础逻辑块中，从所述起始操作位置对所述待处理数据长度的数据进行数据处理操作，包括：基于所述偏移量和所述基础逻辑块的总长度，确定所述基础逻辑块中可写入数据长度；在所述可写入数据长度小于等于所述待写入数据长度的情况下，将所述待写入数据中对应所述可写入数据长度的数据写入所述基础逻辑块中；或者，在所述可写入数据长度大于所述待写入数据长度的情况下，将所述待写入数据中对应所述待写入数据长度的数据写入所述基础逻辑块中。

在一些可选实施例中，所述对所述数据处理请求进行解析，得到所述基础逻辑块的块地址之后，还包括：将所述块地址对应的基础逻辑块，确定为目标逻辑块，并在所述目标逻辑块中的设备标识不属于所述数据存储设备的情况下，将所述数据处理请求丢弃。

在一些可选实施例中，所述方法还包括：在所述基础逻辑块中写入数据时，根据写入的数据处理得到第一校验值；在对所述基础逻辑块中的数据进行读取时，根据读取的数据处理得到第二校验值；在所述第一校验值与所述第二校验值相同的情况下，确定读取成功。