[发明专利]大数据传输方法、装置、设备及存储介质

说明书

本发明公开了一种大数据传输方法、装置、设备及存储介质，该方法包括：通过QAT硬件对待传输大数据进行数据压缩，获得压缩大数据；基于QUIC协议对压缩大数据进行数据处理，获得待加密大数据；根据待加密大数据的数据量对待加密大数据进行分类加密，获得加密大数据；基于QUIC连接方式将加密大数据传输至接收端，以使接收端根据预设条件对加密大数据进行解密以及解压，获得待传输大数据。本发明通过QAT硬件对大数据进行压缩，并基于QUIC协议对压缩后的大数据进行对称加密硬件卸载后传输至接收端，避免了现有大数据传输方法的传输效率较慢的问题，从而能够高效、稳定地对待传输大数据进行传输。

技术领域

本发明涉及计算机网络与通信技术领域，尤其涉及一种大数据传输方法、装置、设备及存储介质。

背景技术

大数据是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。如今，移动互联网、云计算、物联网与人工智能等新技术蓬勃发展，而这些新技术与大数据息息相关。因此，如何对大数据进行传输在行业内有着重要的研究价值。

传统的大数据传输方法大多采用TCP/IP协议作为传输层和网络层协议，TCP协议作为一种面向连接的、可靠的、基于字节流的传输层协议，在一部分场景下，都能提供较为稳定可靠的服务，其也被写进了操作系统内核。可TCP协议的某些弊端（如队头阻塞、僵化和保守的拥塞控制架构等等）在大数据传输中带来的不利影响是愈加明显的。随着技术的不断更新迭代，传统的大数据传输方法已然无法满足大数据传输高效、稳定的业务要求。因此，目前行业内亟需一种能够高效、稳定地对大数据进行传输的方法。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供了一种大数据传输方法、装置、设备及存储介质，旨在解决现有技术无法高效、稳定地对大数据进行传输的技术问题。

为实现上述目的，本发明提供了一种大数据传输方法，所述方法应用于发送端并包括以下步骤：

通过QAT硬件对待传输大数据进行数据压缩，获得压缩大数据，所述压缩大数据存储在非易失性存储器中；

基于QUIC协议对所述压缩大数据进行数据处理，获得待加密大数据；

根据所述待加密大数据的数据量对所述待加密大数据进行分类加密，获得加密大数据；

基于QUIC连接方式将所述加密大数据传输至接收端，以使所述接收端根据预设条件对所述加密大数据进行解密以及解压，获得所述待传输大数据，所述预设条件为所述接收端是否包含所述QAT硬件。

可选地，所述对待传输大数据进行数据压缩，获得压缩大数据，包括：

划分预设数量的压缩任务缓冲区，并将待传输大数据依次填充至所述压缩任务缓冲区中；

当所述压缩任务缓冲区中的数据达到可容纳数据的最大阈值时，通过所述QAT硬件对所述压缩任务缓冲区中填充的待传输大数据进行数据压缩，获得压缩大数据，或，当所述待传输大数据对应的最后一个字节填充至当前压缩任务缓冲区时，通过所述QAT硬件对所述当前压缩任务缓冲区中填充的待传输大数据进行数据压缩，获得压缩大数据。

可选地，所述大数据传输方法，还包括：

基于QAT心跳机制对QAT硬件进行状态检测；

当检测到所述QAT硬件的状态为不可用状态时，调用GZIP压缩软件填充当前的待传输大数据，并对所述QAT硬件进行重启唤醒，通过QAT硬件在相关缓冲区继续填充相关数据。

可选地，所述根据所述待加密大数据的数据量对所述待加密大数据进行分类加密，获得加密大数据，包括：