[发明专利]一种数据集获取方法、系统、设备以及介质

摘要

本发明公开了一种数据集获取方法，包括以下步骤：接收若干个数据集获取请求；将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；监控每一个所述下载进程的下载进度并反馈给对应的请求方。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案可以实现高效的对接分布式存储系统，实现高效、准确的数据集缓存、实时获取缓存进度、准确的中断问题数据集缓存进程，从而提高训练任务训练的速度，避免因为文件系统不统一，导致深度学习平台无法使用分布式文件系统中的数据集进行训练。