[发明专利]面向边缘设备及数据安全的分布式机器学习系统及方法

说明书

本发明提供了一种面向边缘设备及数据安全的分布式机器学习系统及方法，在云端和边缘端整合了机器学习的数据预处理、模型训练、模型推理服务、模型管理等模块，只需要简单的Web页面操作即可进行机器学习任务，降低了用户使用边缘计算设备进行器学习的难度；配备有GPU或FPGA的边缘端计算设备，能根据上下文调用GPU或FPGA资源，加速训练或推理过程；通过虚拟网络模块打通企业或家庭等内部网络限制，为分布式机器学习训练及推理提供了稳定、安全的联通网络；数据在预处理、训练及推理过程中均不出本地，解决了数据隐私安全的问题；能自动根据上下文信息分发匹配边缘设备软硬件信息的模型或镜像，极大提升了易用性及自动化能力。

技术领域

本发明涉及涉及机器学习技术领域，尤其是涉及一种面向边缘设备及数据安全的分布式机器学习系统及方法。

背景技术

近年来，机器学习已经渗透到生活各个领域，在悄然改变着商业及社会生活方式。得益于大数据、云计算、算法模型等领域的突飞猛进，机器学习能力和应用场景得到了极大发展，但在具体落地实践过程中仍有诸多问题亟待解决。首先是计算能力的问题。目前机器学习仍以集中式的训练和推理为主，对训练和推理服务器性能要求较高，尤其是在大数据量、深度学习等场景下，尤为明显。其次，是数据隐私安全问题。大规模数据泄露事件层出不穷，由此引发的个人隐私及数据安全问题愈发严重。据统计，2019 年以来，全球每次数据泄露的平均成本高达 392 万美元。

另一方面，5G、物联网等技术进步极大促进了边缘计算技术的发展，各类边缘计算设备及平台纷纷涌现，向用户提供物联设备的接入、管理、反向控制、数据处理，及基于数据的智能化服务，如设备故障预测、设备节能省电自动调控等功能。边缘计算技术能有效利用海量边缘设备的计算能力、降低请求响应时延；且在数据本地化处理条件下，一定程度上保证数据隐私安全。有效缓解上述机器学习平台计算能力及数据隐私安全问题，并提供即时请求反馈、降低带宽成本等优势，因此如何在边缘计算设备上运行机器学习系统成为了新的研究热点。但边缘计算同样引入了新的问题：一是边缘设备计算架构多样性问题，如CPU的X86、ARM等架构，以及GPU、FPGA等计算设备，机器学习系统需提供统一支持；二是边缘设备间的网络联通性问题，大部分边缘设备放置于公司或家庭局域网内部，无法通过网络直连的方式互联互通。

因此，有必要提供一种新的面向边缘设备及数据安全的分布式机器学习系统及方法，以保证在解决边缘设备计算架构多样性及网络联通前提下，在边缘设备上运行机器学习平台，最终解决机器学习计算能力不足、数据隐私安全问题。

发明内容

本发明的目的在于提供一种面向边缘设备及数据安全的分布式机器学习系统及方法。

根据本发明的一个目的，本发明提供一种面向边缘设备及数据安全的分布式机器学习系统，包括：

一个或多个云端计算设备，其执行指令并存储数据，实现机器学习系统云端模块；

一个或多个边缘端计算设备，其执行指令并存储数据，实现机器学习系统边缘端模块，同时可配备一个或多个GPU或FPGA设备，用于加速模型训练或推理过程；

建立其上的机器学习系统，包括虚拟网络模块，容器编排模块，分布式的数据预处理模块、机器学习训练模块、机器学习推理模块，以及集中式的模型应用注册中心、资源管理控制台、API网关模块，所述数据预处理模块、机器学习训练模块、机器学习推理模块均以容器化方式提供服务，并依托虚拟网络模块及容器编排模块实现服务的运行及交互，所述模型应用注册中心、资源管理控制台对设备、模型、应用进行全生命周期管理与监控。

进一步地，所述的云端计算设备，集中存储训练后的机器学习模型，并根据指令将模型打包为容器进行分发；所述的边缘端计算设备，根据指令进行本地模型训练，接收并存储云端下发的推理应用，在本地提供WEB推理服务；调用GPU或FPGA资源，加速模型训练或推理过程。

进一步地，所述的虚拟网络模块提供动态IP环境下组件虚拟私有网络的功能，使用加密协议保证传输数据的安全性，并通过设备认证技术实现动态网络准入控制。