[发明专利]数据处理方法、装置、电子设备及可读存储介质

说明书

本申请公开了一种数据处理方法、装置、电子设备及可读存储介质，涉及云计算技术领域和云存储技术领域。其中，所述数据处理方法包括：服务器响应于终端发送的对第一数据集的缓存预读请求，在所述第一数据集未被缓存的情况下，将所述第一数据集中的部分数据组的数据预读至服务器的缓存中。通过将数据集的不同数据组交给不同的服务器执行缓存和管理，可以保证不同服务器上执行不同数据的缓存，从而避免了多个服务器上缓存有相同数据的情况，能够提高缓存资源的利用率。

技术领域

本申请涉及云计算技术领域，尤其涉及云存储技术领域，具体涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术

深度学习训练过程中，为了能够以随机的方式访问训练数据，深度学习训练框架会使用索引序列来反复遍历读取数据集。因而，通常通过高速缓存Cache来加快训练过程中的数据读取速度。

现有技术中，后端服务端通常部署有分布式缓存系统，分布式缓存系统的多台缓存服务器上可能缓存有大量相同的数据，使得缓存资源没有得到充分有效的利用，利用效率不高。

发明内容

本申请提供了一种数据处理方法、装置、电子设备及可读存储介质。

根据本申请的一方面，提供了一种数据处理方法，由服务器执行，所述方法包括：

接收终端发送的针对第一数据集的缓存预读请求，所述第一数据集包括M个数据组，M为正整数；

确定所述M个数据组中的N个数据组，N为小于M的正整数；

将所述N个数据组的数据预读至缓存中。

根据本申请的另一方面，提供了一种数据处理方法，由终端执行，包括：

向Q个服务器发送针对第一数据集的缓存预读请求，所述第一数据集包括M个数据组，Q和M为正整数；

从所述Q个服务器获取所述M个数据组的数据，每个服务器的缓存中存储有所述M个数据组中的至少一个数据组的数据；

将所述M个数据组的数据预读至缓存中。

根据本申请的另一方面，提供了一种数据处理装置，所述装置包括：

接收模块，用于接收终端发送的对第一数据集的缓存预读请求；

第一预读模块，用于响应于所述缓存预读请求，在所述第一数据集未被缓存的情况下，将所述第一数据集中N个数据组的数据预读至服务器的缓存中，所述第一数据集包括M个数据组，N和M均为正整数且M大于N。

根据本申请的另一方面，提供了一种数据处理装置，所述装置包括：

接收模块，用于接收终端发送的针对第一数据集的缓存预读请求，所述第一数据集包括M个数据组，M为正整数；

第一确定模块，用于确定所述M个数据组中的N个数据组，N为小于M的正整数；

第一预读模块，用于将所述N个数据组的数据预读至缓存中。

根据本申请的另一方面，提供了一种数据处理装置，所述装置包括：

发送模块，用于向Q个服务器发送针对第一数据集的缓存预读请求，所述第一数据集包括M个数据组，Q和M为正整数；

获取模块，用于从所述Q个服务器获取所述M个数据组的数据，每个服务器的缓存中存储有所述M个数据组中的至少一个数据组的数据；

第三预读模块，用于将所述M个数据组的数据预读至缓存中。

根据本申请的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及