[发明专利]一种基于智能网卡的数据整合方法及装置

权利要求书

1.一种基于智能网卡的数据整合方法，其特征在于，所述方法包括：

第一智能网卡从第一节点获取待传输数据和目标压缩比率；

所述第一智能网卡根据所述目标压缩比率，确定所述待传输数据中的前序数据和后序数据；根据所述前序数据确定第一函数规律；将所述第一函数规律的系数取值作为压缩数据，所述第一函数规律用于反映所述前序数据和所述后序数据之间的关联关系；

所述第一智能网卡将所述前序数据和所述第一函数规律及所述压缩数据发送给第二智能网卡，以使所述第二智能网卡根据所述前序数据、所述第一函数规律以及所述压缩数据确定所述后序数据的预测值，所述后序数据的预测值与所述前序数据构成目标数据；所述第二智能网卡将所述目标数据发送给第二节点，以使所述第二节点对所述目标数据进行整合处理，其中，所述第一节点和所述第二节点是大数据计算引擎平台中的两个节点。

2.如权利要求1所述的方法，其特征在于，所述第一函数规律满足如下公式：

其中，所述x是所述前序数据中的第i个数据的编号，所述n是所述前序数据的个数，所述p_i是所述前序数据中第i个数据的系数，所述P(x)为所述前序数据中的第i个数据；集合P＝{p_i}为所述压缩数据。

3.如权利要求1所述的方法，其特征在于，根据目标压缩比率确定所述待传输数据中的前序数据，包括：

根据如下公式确定所述前序数据的个数n：

n＝(1-m)*K；

其中，所述m是所述目标压缩比率，所述K是所述待传输数据中的数据个数。

4.如权利要求2所述的方法，其特征在于，在将所述压缩数据发送给所述第二智能网卡之前，所述方法还包括：

计算所述待传输数据的压缩损失率；

基于所述压缩损失率，输出提示信息，所述提示信息用于提示用户是否满足所述压缩损失率；

将所述压缩数据发送给所述第二智能网卡，包括：

若接收到确定指令，则将所述压缩数据发送给所述第二智能网卡。

5.如权利要求4所述的方法，其特征在于，所述基于所述压缩损失率，输出提示信息，还包括：

若接收到否定指令，则提示用户重新设定目标压缩比率，所述第一智能网卡基于所述重新设定的目标压缩比率对所述待传输数据压缩。

6.如权利要求4所述的方法，其特征在于，计算所述待传输数据的压缩损失率，包括：

当所述x为所述后序数据中的第j个后序数据的编号时，根据所述公式确定所述第j个后序数据的预测值；计算所述第j个后序数据的预测值与所述第j个后序数据的真实值的差值，确定差值总和；

根据公式计算所述压缩损失率；

其中，所述E是所述压缩损失率，所述∑E(j)是所述差值总和，所述D_j是所述第j个后序数据。

7.一种基于智能网卡的数据整合装置，其特征在于，应用于第一智能网卡，所述装置包括：

获取模块，用于从第一节点获取待传输数据和目标压缩比率；

处理模块，用于根据所述目标压缩比率，确定所述待传输数据中的前序数据和后序数据；根据所述前序数据确定第一函数规律；将所述第一函数规律的系数取值作为压缩数据，所述第一函数规律用于反映所述前序数据和所述后序数据之间的关联关系；

通信模块，用于将所述前序数据和所述第一函数规律及所述压缩数据发送给第二智能网卡，以使所述第二智能网卡根据所述前序数据、所述第一函数规律以及所述压缩数据确定所述后序数据的预测值，所述后序数据的预测值与所述前序数据构成目标数据，以及将所述目标数据发送给第二节点，以使所述第二节点对所述目标数据进行整合处理；

其中，所述第一节点和所述第二节点是大数据计算引擎平台中的两个节点。

8.一种智能网卡，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的基于智能网卡的数据整合方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被计算机执行时，使所述计算机执行如权利要求1-6中任一所述的方法。