[发明专利]张量切分模式的确定方法、装置、计算机设备及介质在审
申请号: | 202210415394.1 | 申请日: | 2022-04-20 |
公开(公告)号: | CN114723014A | 公开(公告)日: | 2022-07-08 |
发明(设计)人: | 万学磊;田野 | 申请(专利权)人: | 上海燧原科技有限公司 |
主分类号: | G06N3/04 | 分类号: | G06N3/04;G06N3/08;G06N3/063 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 王瑞云 |
地址: | 201306 上海市浦东新区中国(上海*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 张量 切分 模式 确定 方法 装置 计算机 设备 介质 | ||
1.一种张量切分模式的确定方法,其特征在于,包括:
获取待张量切分的计算图,计算图中包括多个计算算子;
根据与计算算子对应的可选张量切分模式集,确定与计算图对应的数据条目集,数据条目中包括多个目标计算算子和目标计算算子的目标张量切分模式;
根据各所述数据条目中包括的各所述目标张量切分模式,计算与每个数据条目分别对应的计算耗时;
根据在数据条目集中选取的多个数据条目对,生成多个交叉数据条目,并根据各所述交叉数据条目的计算耗时,更新所述数据条目集;
在更新后的数据条目集中获取目标数据条目,并根据目标数据条目,确定计算图中各计算算子的张量切分模式。
2.根据权利要求1所述的方法,其特征在于,根据与计算算子对应的可选张量切分模式集,确定与计算图对应的数据条目集,包括:
对计算图中的各计算算子进行拓扑排序;
创建数据条目模板,并按照排序顺序,依次获取一个当前计算算子;
根据当前计算算子的算子类型,查询算子信息库,并在确定算子信息库中存储与当前计算算子对应的可选张量切分模式集时,将当前计算算子确定为目标计算算子;
根据目标计算算子的可选张量切分模式集,确定目标计算算子的目标张量切分模式,并将目标计算算子和目标张量切分模式加入至数据条目模板中;
返回执行按照排序顺序,依次获取一个当前计算算子的操作,直至完成对计算图中全部计算算子的处理,以生成一个数据条目;
重复执行从创建数据条目模板到生成数据条目的流程,直至生成设定数量的数据条目,以构成所述数据条目集。
3.根据权利要求2所述的方法,其特征在于,根据目标计算算子的可选张量切分模式集,确定目标计算算子的目标张量切分模式,包括:
在目标计算算子的可选张量切分模式集中选取备选张量切分模式,可选张量切分模式中包括:各输入端的输入切分状态和各输出端的参考输出切分状态;
根据备选张量切分模式中的备选输入切分状态,以及备选参考输出切分状态,推导得到与备选输入切分状态对应的目标输出切分状态;
验证备选输入切分状态和目标输出切分状态,是否满足与目标计算算子对应的输入输出有效性条件;
若是,则将所述备选输入切分状态和目标输出切分状态,确定为目标计算算子的目标张量切分模式;
否则,返回执行在目标计算算子的可选张量切分模式集中选择备选张量切分模式的操作,直至成功确定出目标计算算子的目标张量切分模式。
4.根据权利要求3所述的方法,其特征在于,在目标计算算子的可选张量切分模式集中选取备选张量切分模式,包括:
检测所述目标计算算子是否存在前一相邻算子;
若是,则在为前一相邻算子确定出的目标张量切分模式中,获取目标输出切分状态;
根据前一相邻算子的目标输出切分状态,在目标计算算子的可选张量切分模式集中,筛选出与前一相邻算子满足输入输出连接关系有效性校验条件的可选张量切分模式;在筛选出的各可选张量切分模式中,选取所述备选张量切分模式。
5.根据权利要求2所述的方法,其特征在于,在完成对计算图中全部计算算子的处理,以生成一个数据条目之后,还包括:
根据所生成数据条目以及计算图中各计算算子的拓扑排序中,验证两两相邻的计算算子是否满足输入输出连接关系有效性校验条件;
如果确定任一相邻的两个计算算子不满足输入输出连接关系有效性校验条件,则丢弃所述数据条目。
6.根据权利要求1所述的方法,其特征在于,根据各所述数据条目中包括的各所述目标张量切分模式,计算与每个数据条目分别对应的计算耗时,包括:
在全部数据条目中获取当前处理条目,并获取与计算图对应的原始算子耗时图,原始算子耗时图与计算图中的算子拓扑结构相同;
在原始算子耗时图中,加入与当前处理条目中各目标算子的目标张量切分模式分别对应的切分算子,生成与当前处理条目对应的目标算子耗时图;
查询预先构建的耗时模型库,计算与所述目标算子耗时图对应的计算耗时。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海燧原科技有限公司,未经上海燧原科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210415394.1/1.html,转载请声明来源钻瓜专利网。