[发明专利]大数据传输方法、装置、设备及存储介质

权利要求书

1.一种大数据传输方法，其特征在于，所述方法应用于发送端并包括以下步骤：

通过QAT硬件对待传输大数据进行数据压缩，获得压缩大数据，所述压缩大数据存储在非易失性存储器中，所述数据压缩的方式为多并发流水线压缩，所述多并发流水线压缩的方式通过调用QATzip用户空间库和QAT用户态驱动实现压缩；

基于QUIC协议对所述压缩大数据进行数据处理，获得待加密大数据；

根据所述待加密大数据的数据量对所述待加密大数据进行分类加密，获得加密大数据；

基于QUIC连接方式将所述加密大数据传输至接收端，以使所述接收端根据预设条件对所述加密大数据进行解密以及解压，获得所述待传输大数据，所述预设条件为所述接收端是否包含所述QAT硬件；

其中，所述根据所述待加密大数据的数据量对所述待加密大数据进行分类加密，获得加密大数据的步骤，包括：

根据所述待加密大数据的数据量将所述待加密大数据对应的加密任务分为第一加密任务和第二加密任务；

分别执行所述第一加密任务和所述第二加密任务，获得加密大数据，所述第一加密任务采用基于QAT硬件的对称加密算法进行加密，所述第二加密任务采用AESNI加密算法进行加密；

所述通过QAT硬件对待传输大数据进行数据压缩，获得压缩大数据的步骤包括：

划分预设数量的压缩任务缓冲区，并将待传输大数据依次填充至所述压缩任务缓冲区中；

当所述压缩任务缓冲区中的数据达到可容纳数据的最大阈值时，通过所述QAT硬件对所述压缩任务缓冲区中填充的待传输大数据进行数据压缩，获得压缩大数据，或，当所述待传输大数据对应的最后一个字节填充至当前压缩任务缓冲区时，通过所述QAT硬件对所述当前压缩任务缓冲区中填充的待传输大数据进行数据压缩，获得压缩大数据；

基于QAT心跳机制对QAT硬件进行状态检测；

当检测到所述QAT硬件的状态为不可用状态时，调用GZIP压缩软件对压缩任务缓冲区中的待传输大数据执行软件压缩，并对所述QAT硬件进行重启唤醒，继续向所述压缩任务缓冲区中填充待传输大数据。

2.如权利要求1所述的大数据传输方法，其特征在于，所述根据所述待加密大数据的数据量将所述待加密大数据对应的加密任务分为第一加密任务和第二加密任务，包括：

将所述待加密大数据的数据量大小与预设阈值进行比较；

将数据量大于预设阈值的数据量对应的加密任务设为第一加密任务，将数据量小于或等于预设阈值的数据量对应的加密任务设为第二加密任务。