[发明专利]基于K8S和Kubeedge的云边深度学习模型管理系统及模型训练方法

权利要求书

1.一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，包括云端服务器、边缘智能设备和云边通信模块，所述云端服务器包括云端任务管理模块、云端数据管理模块和云端任务运行控制模块；所述边缘智能设备包括边缘侧任务管理模块、边缘侧数据管理模块、边缘侧任务运行控制模块；

所述云端任务管理模块用于深度学习任务的创建、深度学习任务的取消；

所述云端任务运行控制模块用于根据云端深度学习任务生成深度学习模型并进行训练，训练结束后得到的模型定义为预训练模型，还用于对训练过程进行监控生成监控日志；

所述云端数据管理模块用于管理预训练模型、边缘侧模型，并采用加权融合的方式更新预训练模型参数值，得到最终的云边协同训练后的模型，还用于将模型文件以及监控日志存储到云端服务器的数据库中；

所述云边通信模块用于云端服务器和边缘智能设备之间的消息通信，所述消息通信包括云端服务器向边缘智能设备发送的边缘侧深度学习任务、云端服务器和边缘智能设备之间深度学习模型的发送、云端服务器向边缘智能设备发送的控制命令，所述控制命令包括取消边缘智能设备上的训练任务、上传边缘智能设备上训练后的模型；

所述边缘侧任务管理模块用于接收云边通信模块传输的预训练模型和边缘侧深度学习任务，并对边缘侧深度学习任务进行解析，获取自定义数据的存储格式、预设精确度，其中自定义数据的存储格式发送给边缘侧数据管理模块，预设精确度发送给边缘侧任务运行控制模块；

所述边缘侧数据管理模块用于采集训练深度学习模型的样本数据，配置样本数的存储格式、对边缘侧模型和样本数据进行管理，并存储至本地数据库中，所述管理包括对模型的查询和删除，对样本数据的添加、查询和删除，所述样本数据为连接边缘智能设备的传感器采集到的数据；

所述边缘侧任务运行控制模块用于根据样本数据对预训练模型进行训练，达到预设精确度后结束训练，训练后生成的模型具备边缘个性化数据特征定义为边缘侧模型。

2.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端任务管理模块包括云端深度学习任务创建单元、云端深度学习任务取消单元；

所述云端深度学习任务创建单元用于将用户对任务的配置通过K8S平台中的KubeClient进行上传，解析用户对任务的配置参数，并创建深度学习任务，所述配置参数包括待构建深度学习模型的配置参数、自定义数据存储格式、配置是否需要进行云边协同训练及边缘智能设备上训练深度学习模型所要达到的预设精确度；所述深度学习任务包括云端深度学习任务和边缘侧深度学习任务，云端深度学习任务负责云端服务器上深度学习模型的配置和训练，边缘侧深度学习任务包含自定义数据存储格式和边缘智能设备上训练模型所要达到的预设精确度；

所述云端深度学习任务取消单元用于通过KubeClient将创建的任务进行取消。

3.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端任务运行控制模块包括深度学习记录单元、深度学习任务训练单元、深度学习任务监控单元；

所述深度学习记录单元用于对深度学习模型训练过程中生成的监控日志进行记录；

所述深度学习任务训练单元用于在云端服务器上根据云端深度学习任务生成深度学习模型，并进行训练，保存训练后的模型作为预训练模型；

所述深度学习任务监控单元用于实时监控训练过程并生成监控日志，方便用户进行错误排查。

4.根据权利要求1所述的一种基于K8S和Kubeedge的云边深度学习模型管理系统，其特征在于，所述云端数据管理模块包括深度学习模型管理单元、任务日志管理单元；

所述深度学习模型管理单元用于将预训练模型存储至云端服务器的数据库中，当需要云边协同训练时，通过云边通信模块将预训练模型传输给边缘智能设备，并将边缘智能设备上传的边缘侧模型存储至云端服务器的数据库中，还用于将预训练模型和边缘侧模型通过加权融合的方式更新预训练模型参数值，生成最终的云边协同训练后的模型；

所述任务日志管理单元用于对监控日志进行持久化记录，将所有的操作记录存储在云端服务器的数据库中。