[发明专利]应用于AI芯片的计算图可视化方法、装置、设备及介质在审
申请号: | 202310221781.6 | 申请日: | 2023-03-09 |
公开(公告)号: | CN116227566A | 公开(公告)日: | 2023-06-06 |
发明(设计)人: | 孙诚程;李超豪;张亚林 | 申请(专利权)人: | 上海燧原科技有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 李礼 |
地址: | 201306 上海市浦东新区中国(上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 应用于 ai 芯片 计算 可视化 方法 装置 设备 介质 | ||
1.一种应用于AI芯片的计算图可视化方法,其特征在于,包括:
获取算法模型在指定AI芯片下所对应的任意深度学习框架所生成的初始计算图,其中,所述任意深度学习框架所生成的初始计算图中包括所述算法模型的节点和节点描述;
获取AI芯片信息,基于所述AI芯片信息构建与所述初始计算图所匹配的第一双向节点图结构体;
根据所述第一双向节点图结构体获取计算图结构图、内存使用峰值图和节点运行时间评估图,并将所述计算图结构图、所述内存使用峰值图和所述节点运行时间评估图进行可视化展示。
2.根据权利要求1所述的方法,其特征在于,所述构建与所述初始计算图所匹配的第一双向节点图结构体,包括:
对所述初始计算图中的各节点进行后向遍历获取节点依赖关系,并根据所述节点、所述节点描述和所述节点依赖关系构建第二双向节点图结构体;
根据所述第二双向节点图结构体以及所述AI芯片信息获取与所述初始计算图所匹配的第一双向节点图结构体。
3.根据权利要求2所述的方法,其特征在于,所述根据所述第二双向节点图结构体以及所述AI芯片信息获取与所述初始计算图所匹配的第一双向节点图结构体,包括:
按照指定规则对所述第二双向节点图结构体进行简化,获取简化后的第三双向节点图结构体,其中,所述第三双向节点图结构体中包括简化后的节点、简化后的节点描述和节点依赖关系;
确定所述AI芯片信息中所包含的硬件参数信息以及基于所述AI芯片的底层硬件算子信息;
根据所述第三双向节点图结构体、所述硬件参数信息以及所述底层硬件算子信息获取与所述初始计算图所匹配的第一双向节点图结构体。
4.根据权利要求3所述的方法,其特征在于,所述按照指定规则对所述第二双向节点图结构体进行简化,获取简化后的第三双向节点图结构体,包括:
将所述第二双向节点图结构体中指定类型的节点进行删除,获取所述简化后的节点,其中,所述指定类型包括非计算类节点;
将所述第二双向节点图结构中指定形式的节点描述进行删除,获取所述简化后的节点描述,其中,所述指定形式包括形状对应排布以及为了向下映射硬件所拥有的信息;
根据所述简化后的节点、所述简化后的节点描述和所述节点依赖关系构建所述第三双向节点图结构体。
5.根据权利要求3所述的方法,其特征在于,所述根据所述第三双向节点图结构体、所述硬件参数信息以及所述底层硬件算子信息获取与所述初始计算图所匹配的第一双向节点图结构体,包括:
根据所述硬件参数信息和所述底层硬件算子信息对所述第三双向节点图结构体进行节点遍历计算,获取各节点的节点运行信息,其中,所述节点运行信息包括预估运行时间、存储空间使用量、算力和带宽;
根据所述简化后的节点、所述简化后的节点描述、所述节点依赖关系和所述节点运行信息构建所述第一双向节点图结构体。
6.根据权利要求5所述的方法,其特征在于,所述根据所述第一双向节点图结构体获取计算图结构图、内存使用峰值图和节点运行时间评估图,包括:
根据所述节点依赖关系将各所述简化后的节点进行顺序连接,获取初始结构图;
将各所述简化后的节点描述和所述节点运行信息,添加到所述初始结构图中匹配的节点上,以构建所述计算图结构图;
根据所述节点依赖关系获取各指定节点的相邻节点,并根据所述相邻节点的存储空间使用量和指定节点的存储空间使用量,计算各指定节点的内存使用峰值,根据各指定节点的所述内存使用峰值构建所述内存使用峰值图;
根据各节点的预估运行时间确定同一名称节点的运行时间占比,并根据同一名称节点的运行时间占比构建所述节点运行时间评估图。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海燧原科技有限公司,未经上海燧原科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310221781.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种注塑成型表皮复合汽车仪表台制备工艺
- 下一篇:影像提取箱