[发明专利]一种建模任务和数据分析的方法、装置、电子设备及系统

说明书

本发明公开了一种建模任务和数据分析的方法、装置、电子设备及系统，该方法包括：获取建模子任务的任务配置文件；基于建模子任务的配置文件对建模子任务进行调度，生成建模子任务的配置信息；基于配置信息及建模子任务所处的部署环境信息，生成建模子任务的启动脚本；基于建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行建模子任务，得到目标模型，联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。通过实施本发明，结合建立的联邦学习框架，融合多种算法框架，根据建模任务调用相应的算法执行建模任务，解决了不同算法框架之间不兼容的问题，简化了产品开发过程中的复杂步骤。

技术领域

本发明涉及机器学习技术领域，具体涉及一种建模任务和数据分析的方法、装置、电子设备及系统。

背景技术

随着机器学习的普及，数据隐私保护的意识越来越强，联邦学习应运而生。使用联邦学习进行产品开发时，通常需要同时使用多个开源框架实现联邦学习计算，然而目前不同框架之间存在不兼容的问题，且多套框架分别独立部署，使得产品开发的过程较为复杂，因此亟待提出一种基于多个兼容的联邦学习框架的数据预测方法，降低产品开发的复杂度。

发明内容

因此，本发明要解决的技术问题在于克服现有多联邦学习框架不兼容的缺陷，从而提供一种建模任务处理方法、装置及电子设备。

根据第一方面，本发明实施例公开了一种建模任务处理方法，包括：获取建模子任务的任务配置文件；基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

可选地，所述任务配置文件包括所述建模子任务的输入输出数据、预设模型及任务参数；所述基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息，包括：解析所述任务配置文件，得到所述建模子任务的执行顺序及依赖信息；

基于所述执行顺序及依赖信息对所述建模子任务进行调度，生成所述建模子任务的配置信息。

可选地，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，所述联邦学习算法框架的数据传输协议相同。

可选地，在所述联邦学习框架系统中，对于不同启动配置的联邦学习算法框架，是通过预先调整数据传输协议的服务端和/或客户端实现不同启动配置的联邦学习算法框架使用统一的数据传输协议。

可选地，调用相应的联邦学习算法框架，执行所述建模子任务，包括：获取所述建模子任务对应的多种不同类型的任务参数；调用相应的联邦学习算法框架对所述多种不同类型的任务参数进行计算，得到所述建模子任务的任务结果。

根据第二方面，本发明实施例还公开了一种建模任务处理装置，包括：第一获取模块，用于获取建模子任务的任务配置文件；第一调度模块，用于基于所述建模子任务的配置文件对所述建模子任务进行调度，生成所述建模子任务的配置信息；第一启动模块，用于基于所述配置信息及所述建模子任务所处的部署环境信息，生成所述建模子任务的启动脚本；第一执行模块，用于基于所述建模子任务的启动脚本启动联邦学习框架系统，调用相应的联邦学习算法框架，执行所述建模子任务，得到目标模型，所述联邦学习框架系统中配置有不同启动配置的联邦学习算法框架。

根据第三方面，本发明实施例还公开了一种数据分析方法，包括：获取不同数据节点的节点数据；对各数据节点的节点数据进行求交处理，得到共有数据集；基于所述共有数据集进行特征筛选，得到特征编码；将所述特征编码输入到预设的数据分析模型，得到所述节点数据的分析结果，所述预设的数据分析模型是通过如第一方面或第一方面任一可选实施方式所述的建模任务处理方法建模得到的。