[发明专利]一种数据集获取方法、系统、设备以及介质

权利要求书

1.一种数据集获取方法，其特征在于，包括以下步骤：

接收若干个数据集获取请求；

将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；

根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；

监控每一个所述下载进程的下载进度并反馈给对应的请求方。

2.如权利要求1所述的方法，其特征在于，还包括：

响应于在下载过程中再次接收到数据集获取请求，根据再次接收到的请求对应的待获取数据集的唯一标识判断当前是否存在关联的下载进程ID；

响应于存在，直接将所述关联的下载进程ID对应的下载进度反馈给请求方。

3.如权利要求1所述的方法，其特征在于，接收若干个数据集获取请求，进一步还包括：

将接收到的若干个数据集获取请求分别对应的唯一标识进行去重处理；

将进行去重处理得到的若干个待获取数据集的唯一标识分别与所述对应的请求方进行关联。

4.如权利要求3所述的方法，其特征在于，还包括：

响应于接收到请求方的中断下载数据集的请求，根据待中断下载的数据集的唯一标识判断是否存在其他请求方请求下载所述待中断下载的数据集；

响应于不存在，根据所述待中断下载的数据集的唯一标识确定对应的所述下载进程ID，以通过中断命令结束与所述对应的下载进程ID相对应的所述下载进程。

5.如权利要求3所述的方法，其特征在于，监控每一个所述下载进程的下载进度并反馈给对应的请求方，进一步包括：

将所述待获取数据集的下载进度反馈给每一个与所述待获取数据集的唯一标识关联的请求方。

6.如权利要求3所述的方法，其特征在于，还包括：

响应于所述待下载的数据集下载完毕或中断下载，将对应的下载进度、下载进程ID以及请求方持久化保存。

7.如权利要求1所述的方法，其特征在于，还包括：

创建用于生成所述下载进程ID第一资源池、用于创建下载进程的第二资源池以及用于保存下载进度的第三资源池。

8.一种数据集获取系统，其特征在于，包括：

接收模块，所述接收模块配置为接收若干个数据集获取请求；

关联模块，所述关联模块配置为将每一个所述请求中待获取数据集的唯一标识与下载进程ID关联；

下载模块，所述下载模块配置为根据所述下载进程ID创建下载进程并利用所述下载进程下载对应的数据集；

反馈模块，所述反馈模块配置为监控每一个所述下载进程的下载进度并反馈给对应的请求方。

9.一种计算机设备，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时执行如权利要求1-7任意一项所述的方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时执行如权利要求1-7任意一项所述的方法的步骤。