[发明专利]一种数据集快速缓存的方法、系统、设备及介质

权利要求书

1.一种数据集快速缓存的方法，其特征在于，包括以下步骤：

建立每个数据集的源地址与总分的对应关系，并将所述总分记录在源地址列表中；

获取计算节点的性能指标、网络拓扑、数据集使用次数和使用过程中对当前节点的影响三种参数；

对所述三种参数分配权重，基于所述权重计算所述计算节点的总分，并判断所述源地址列表中是否存在所述总分；以及

响应于所述源地址列表中存在所述总分，根据所述总分确定所述数据集的源地址，并将所述数据集缓存到所述总分对应的源地址；

搜索数据集的文件目录以确定数据集的个数，并将所述数据集平均分配到每个源地址。

2.根据权利要求1所述的方法，其特征在于，还包括：

使用多线程并发从不同的源地址拉取数据集到本地进行缓存。

3.根据权利要求1所述的方法，其特征在于，还包括：

判断源地址的负载是否超过预设阈值；

响应于所述源地址的负载超过预设阈值，删除所述源地址并增加新的源地址。

4.根据权利要求1所述的方法，其特征在于，还包括：

响应于所述源地址列表中不存在所述总分，确定所述源地址列表中与所述总分最接近的总分，并将所述数据集缓存到所述最接近的总分对应的源地址。

5.根据权利要求1所述的方法，其特征在于，还包括：

每隔预定时间对所述源地址列表进行更新。

6.根据权利要求5所述的方法，其特征在于，所述每隔预定时间对所述源地址列表进行更新包括：

根据数据集缓存的源地址进行所述源地址的性能检测，根据检测结果更新所述源地址列表中所述源地址的总分。

7.一种数据集快速缓存的系统，其特征在于，包括：

关联模块，配置用于建立每个数据集的源地址与总分的对应关系，并将所述总分记录在源地址列表中；

采集模块，配置用于获取计算节点的性能指标、网络拓扑、数据集使用次数和使用过程中对当前节点的影响三种参数；

计算模块，配置用于对所述三种参数分配权重，基于所述权重计算所述计算节点的总分，并判断所述源地址列表中是否存在所述总分；以及

缓存模块，配置用于响应于所述源地址列表中存在所述总分，根据所述总分确定所述数据集的源地址，并将所述数据集缓存到所述总分对应的源地址；

分配模块，配置用于搜索数据集的文件目录以确定数据集的个数，并将所述数据集平均分配到每个源地址。

8.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现权利要求1-6任意一项所述方法的步骤。

9.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任意一项所述方法的步骤。