[发明专利]一种加速AI模型部署的方法和设备在审
申请号: | 202110132071.7 | 申请日: | 2021-01-31 |
公开(公告)号: | CN112799680A | 公开(公告)日: | 2021-05-14 |
发明(设计)人: | 郭乃洪;黄瑞祺;杨亚楠;陈吉胜 | 申请(专利权)人: | 云知声智能科技股份有限公司;厦门云知芯智能科技有限公司 |
主分类号: | G06F8/60 | 分类号: | G06F8/60 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100096 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 加速 ai 模型 部署 方法 设备 | ||
1.一种加速AI模型部署的方法,其特征在于,应用于包括多个节点的P2P网络中,该方法包括:
在待部署的机器上设置基于P2P算法的传输工具;
将所述机器作为一个新的节点加入到P2P网络中;
将待部署的AI模型的数据进行分片,以将所述数据分为多个数据片;
基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片;
确定每个所述数据片的特征码,其中,不同的所述数据片对应不同的所述特征码;
在Chord环上存储所述特征码,以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
2.根据权利要求1所述的方法,其特征在于,所述将所述机器作为一个新的节点加入到P2P网络中,包括:
对所述机器进行鉴权;
若鉴权通过,则通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
3.根据权利要求2所述的方法,其特征在于,还包括:
若鉴权不通过,则基于未通过鉴权的所述机器的信息生成提示信息。
4.如权利要求2所述的方法,其特征在于,所述鉴权是使用所述P2P网络中的一个或多个所述节点完成的。
5.如权利要求1所述的方法,其特征在于,所述数据片的大小为240KB-280KB之间的任意值。
6.如权利要求1所述的方法,其特征在于,所述特征码为hash code。
7.如权利要求1所述的方法,其特征在于,完成所述AI模型在所述机器上的部署所需要的时间基于以下公式来确定:
是基于P2P算法完成所述AI模型在所述机器上的部署的时间;
F是需要传输的数据大小;n是需要传输的份数;us是所述节点作为服务器上传的速率;dmin是所述节点作为客户端下载的速率;ui是P2P的传输速率。
8.一种加速AI模型部署的设备,其特征在于,应用于包括多个节点的P2P网络中,该设备包括:
设置模块,用于在待部署的机器上设置基于P2P算法的传输工具;
加入模块,用于将所述机器作为一个新的节点加入到P2P网络中;
分片模块,用于将待部署的AI模型的数据进行分片,以将所述数据分为多个数据片;
获取模块,用于基于Chord算法作分布式协调获取所述P2P中各所述节点和各所述数据片;
确定模块,用于确定每个所述数据片的特征码,其中,不同的所述数据片对应不同的所述特征码;
部署模块,用于在Chord环上存储所述特征码,以基于所述传输工具通过所述Chord环上的所述特征码完成所述AI模型在所述机器上的部署。
9.根据权利要求8所述的设备,其特征在于,所述加入模块,包括:
鉴权模块,用于对所述机器进行鉴权;
处理模块,用于当鉴权通过时,通过鉴权的所述机器作为一个新的节点加入到P2P网络中。
10.根据权利要求8所述的设备,其特征在于,还包括:
提示模块,用于若鉴权不通过,则基于未通过鉴权的所述机器的信息生成提示信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司;厦门云知芯智能科技有限公司,未经云知声智能科技股份有限公司;厦门云知芯智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110132071.7/1.html,转载请声明来源钻瓜专利网。