[发明专利]基于DPU的数据处理方法及装置

说明书

本申请实施例提供一种基于DPU的数据处理方法及装置，方法包括：提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；根据设定联邦学习算法建立初始联邦算法模型；根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果；本申请能够有效对数据进行异常分析和处理，提高DPU执行效率。

技术领域

本申请涉及DPU数据处理领域，具体涉及一种基于DPU的数据处理方法及装置。

背景技术

分配处理单元(DistributionPointUnit，简称为DPU)设备指放在分支点(DistributionPoint，简称为DP)节点的设备。网络侧是无源光网络(PassiveOpticalNetwork,简称为xPON)/以太网上联口，用户侧是VDSL2/G.FAST数字用户线(DigitalSubscriberLine，简称为DSL)接口。

发明人发现，现有技术中，在客户端与DPU进行数据交互时，由于缺少相关的数据处理措施，从而导致DPU执行效率的下降。

发明内容

针对现有技术中的问题，本申请提供一种基于DPU的数据处理方法及装置，能够有效对数据进行异常分析和处理，提高DPU执行效率。

为了解决上述问题中的至少一个，本申请提供以下技术方案：

第一方面，本申请提供一种基于DPU的数据处理方法，包括：

提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；

根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；

根据设定联邦学习算法建立初始联邦算法模型，并在所述初始联邦算法模型的收敛训练过程中通过设定同态加密规则获取对应的训练梯度特征和训练损失特征，得到经过收敛训练后的目标联邦算法模型；

根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果。

进一步地，还包括：

根据设定非对称加密规则将所述目标数据的所述特征分布、空值状况以及相关关系进行数据对齐操作，得到用于进行联邦算法模型训练的训练数据。

进一步地，所述根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系，还包括：

对所述目标数据中的连续型单变量特征、离散型特征以及日期型特征进行变量遍历输出，确定特征分布和空值情况；

根据所述目标数据中的连续型多变量特征的两两相关系数，确定相关关系。

第二方面，本申请提供一种基于DPU的数据处理装置，包括：

DPU通信模块，用于提供一DPU接口与客户端建立通信连接，接收所述客户端发送的目标数据并对所述目标数据进行特征分类，确定所述目标数据的类型数和整体缺失率；

异常分析模块，用于根据所述目标数据的类型数和整体缺失率对所述目标数据中各类型的目标数据进行异常分析，确定相应的特征分布、空值状况以及相关关系；

联邦模型构建模块，用于根据设定联邦学习算法建立初始联邦算法模型，并在所述初始联邦算法模型的收敛训练过程中通过设定同态加密规则获取对应的训练梯度特征和训练损失特征，得到经过收敛训练后的目标联邦算法模型；

异常检测模块，用于根据所述目标联邦算法模型、所述特征分布、空值状况以及相关关系对所述客户端发送的目标数据进行异常检测，得到数据异常检测结果。