[发明专利]基于DPU的数据处理方法及装置

权利要求书

1.一种基于DPU的数据处理方法，其特征在于，所述方法包括：

提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；

根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；

根据设定联邦学习算法建立初始联邦算法模型，并在所述初始联邦算法模型的收敛训练过程中通过设定同态加密规则获取对应的训练梯度特征和训练损失特征，得到经过收敛训练后的目标联邦算法模型；

根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果。

2.根据权利要求1所述的基于DPU的数据处理方法，其特征在于，在所述根据设定联邦学习算法建立初始联邦算法模型之后，还包括：

根据设定非对称加密规则将所述目标数据的所述特征分布、空值状况以及相关关系进行数据对齐操作，得到用于进行联邦算法模型训练的训练数据。

3.根据权利要求1所述的基于DPU的数据处理方法，其特征在于，所述根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系，还包括：

对所述目标数据中的连续型单变量特征、离散型特征以及日期型特征进行变量遍历输出，确定特征分布和空值情况；

根据所述目标数据中的连续型多变量特征的两两相关系数，确定相关关系。

4.一种基于DPU的数据处理装置，其特征在于，包括：

DPU通信模块，用于提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；

异常分析模块，用于根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；

联邦模型构建模块，用于根据设定联邦学习算法建立初始联邦算法模型，并在所述初始联邦算法模型的收敛训练过程中通过设定同态加密规则获取对应的训练梯度特征和训练损失特征，得到经过收敛训练后的目标联邦算法模型；

异常检测模块，用于根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果。

5.根据权利要求4所述的基于DPU的数据处理装置，其特征在于，还包括：

数据对齐单元，用于根据设定非对称加密规则将所述目标数据的所述特征分布、空值状况以及相关关系进行数据对齐操作，得到用于进行联邦算法模型训练的训练数据。

6.根据权利要求4所述的基于DPU的数据处理装置，其特征在于，所述异常分析模块包括：

特征分布和空值情况分析单元，用于对所述目标数据中的连续型单变量特征、离散型特征以及日期型特征进行变量遍历输出，确定特征分布和空值情况；

相关关系分析单元，用于根据所述目标数据中的连续型多变量特征的两两相关系数，确定相关关系。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至3任一项所述的基于DPU的数据处理方法的步骤。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至3任一项所述的基于DPU的数据处理方法的步骤。