[发明专利]数据传输方法、装置、电子设备和计算机可读存储介质

说明书

本发明提供了一种数据传输方法、装置、电子设备和计算机可读存储介质，其中，该方法包括：对目标文件进行分块处理，得到目标文件对应的文件块；根据文件块的字节数和客户端当前的传输速率，确定待发送文件块的数量；对所确定的待发送文件块分别进行压缩处理，得到各待发送文件块分别对应的文件数据包；将所得到的各文件数据包以轮询的方式依次向服务端的集群式服务器发送。本发明可以在不增加用户成本的基础上，有效提升大文件传输的效率。

技术领域

本发明涉及数据传输领域，尤其涉及一种数据传输方法、数据传输装置、电子设备和非暂态计算机可读存储介质。

背景技术

随着大数据时代的到来，文件包含的数据越来越多，文件也越来越大。当文件大小超过3G时，普遍存在文件上传不稳定和上传效率低的问题，严重影响用户的使用体验。

为了提升文件的上传速度，目前主要采用提升带宽、铺设专线等硬件处理方式和开发大文件压缩算法等软件处理方式。

上述两种方式在一定程度上能够提升文件上传速度，但同时还存在一些缺陷。比如，提升带宽、铺设专线的方式需要花费用户较高的资源开支，增加了用户的支付成本；又如，文件传输前通过压缩算法来减少文件传输的大小，但大文件压缩本身就存在压缩时间长的弊端。

如何让用户通过较小的资源开支就可以稳定高效完成大文件传输，已经成为大文件传输的一大挑战。

发明内容

本发明提供一种数据传输方法、装置、电子设备和计算机可读存储介质，用以解决现有技术中大文件上传效率低和文件传输成本高的缺陷，可以在不增加用户成本的基础上，有效提升大文件传输的效率。

第一方面，本发明提供了一种数据传输方法，应用于客户端，包括：对目标文件进行分块处理，得到所述目标文件对应的文件块；根据所述文件块的字节数和所述客户端当前的传输速率，确定待发送文件块的数量；对所确定的待发送文件块分别进行压缩处理，得到各待发送文件块分别对应的文件数据包；将所得到的各文件数据包以轮询的方式依次向服务端的集群式服务器发送。

根据本发明提供的数据传输方法，所述对目标文件进行分块处理，得到所述目标文件对应的文件块，包括：将所述目标文件读取到虚拟内存中；对所述虚拟内存中的目标文件进行分块处理，得到所述目标文件对应的文件块；所述对所确定的待发送文件块分别进行压缩处理，得到各待发送文件块分别对应的文件数据包，包括：将确定数量的待发送文件块从所述虚拟内存读取到物理内存中；对所述物理内存中的待发送文件块分别进行压缩处理，得到各待发送文件块分别对应的文件数据包。

根据本发明提供的数据传输方法，对所述虚拟内存中的目标文件进行分块处理，得到所述目标文件对应的文件块，包括：对所述虚拟内存中的目标文件，按照固定字节数进行分块处理，得到所述目标文件对应的文件块；根据所述文件块的字节数和所述客户端当前的传输速率，确定待发送文件块的数量，包括：获取所述客户端当前的传输速率；根据所获取的当前的传输速率和每个所述文件块的固定字节数，确定待发送文件块的数量。

根据本发明提供的数据传输方法，所述根据所获取的当前的传输速率和每个所述文件块的固定字节数，确定待发送文件块的数量，包括：根据所获取的当前的传输速率和预设的单位传输时间，确定当前读取的字节数；根据所确定的当前读取的字节数和每个所述文件块的固定字节数，确定待发送文件块的数量。

第二方面本发明提供了一种数据传输方法，应用于服务端，包括：通过集群式服务器依次接收客户端以轮询的方式发出的文件数据包；通过所述集群式服务器对各自接收到的文件数据包进行解压处理，得到各文件数据包分别对应的文件块；对所述集群式服务器解压得到的各文件块进行组合处理，得到目标文件。

根据本发明提供的数据传输方法，对所述集群式服务器解压得到的各文件块进行组合处理，得到目标文件之后，还包括：对所得到的目标文件进行校验，并向所述客户端反馈所述校验的结果。