[发明专利]批量数据处理方法、装置、计算机设备及存储介质

说明书

本申请实施例属于数据传输和人工智能技术领域，涉及一种批量数据处理方法，包括接收至少一个终端设备的数据传输请求，数据传输请求包括数据上传请求和数据下载请求，数据上传请求用于指示将至少一个终端设备上的数据上传至云端服务器，数据下载请求用于指示将云端服务器上的数据下载至至少一个终端设备；根据数据传输请求向至少一个终端设备反馈对应的至少一个查询指令；根据至少一个查询指令接收至少一个终端设备发送的至少一个待上传任务；和/或根据至少一个查询指令生成与数据下载请求对应的至少一个待下载任务；将至少一个待上传任务和/或至少一个待下载任务进行分类后，进行上传和/或下载。本申请提高了批量数据处理的速度。

技术领域

本申请涉及数据传输和人工智能技术领域，尤其涉及批量数据处理方法、装置、计算机设备及存储介质。

背景技术

目前，随着计算机大数据的发展，越来越多的数据通过云端进行存储，以降低对硬件存储设备的要求，降低数据存储成本以及规避本地存储的风险，避免因人为或外界环境发生变化而导致大批量数据的丢失。同时，通过云端存储可以提高数据共享的便捷性。

但是，当前在将批量数据进行云端存储时，为了确保数据的安全性，需要采用加解密技术对上传云端的数据进行加密，对云端下载的数据进行解密。往往由于数据的处理方式不合理，导致与云端进行交互时，耗费大量的等待时间，造成批量数据处理的速度及效率降低，需要额外增加数据交互(上传和下载)的等待时间，影响批量数据处理的处理速度。

发明内容

本申请实施例的目的在于提出一种批量数据处理方法、装置、计算机设备及存储介质，以解决现有技术中终端设备与云端进行交互时，耗费大量的等待时间，造成批量数据处理效率较低的问题。

为了解决上述技术问题，本申请实施例提供一种批量数据处理方法，采用了如下所述的技术方案：

接收至少一个终端设备的数据传输请求，所述数据传输请求包括数据上传请求和数据下载请求，所述数据上传请求用于指示将所述至少一个终端设备上的数据上传至所述云端服务器，所述数据下载请求用于指示将所述云端服务器上的数据下载至所述至少一个终端设备；

根据所述数据传输请求向所述至少一个终端设备反馈对应的至少一个查询指令；

根据所述至少一个查询指令接收所述至少一个终端设备发送的至少一个待上传任务；和/或

根据所述至少一个查询指令生成与所述数据下载请求对应的至少一个待下载任务；

将所述至少一个待上传任务和/或所述至少一个待下载任务进行分类后，进行上传和/或下载。

进一步的，在对所述至少一个待上传任务进行上传之前，所述方法还包括：

将所述至少一个待上传任务与所述至少一个终端设备的设备编号对应，获得与所述至少一个终端设备对应的至少一个上传任务队列；

按照预设的规则，对所述至少一个上传任务队列分配对应的上传端口。

进一步的，在对所述至少一个待上传任务进行上传之后，所述方法还包括：

按照预设阈值，对上传数据进行缓存，以使所述至少一个终端设备根据对应的查询指令查询上传进度。

进一步的，在对所述至少一个待下载任务进行下载之前，所述方法还包括：

根据所述至少一个待下载任务遍历所述云端服务器，获取对应的至少一个待下载数据。

进一步的，在对所述至少一个待下载任务进行下载之前，所述方法还包括：

对所述至少一个待下载数据分配对应的下载端口。

进一步的，在对所述至少一个待下载任务进行下载之后，所述方法还包括：