[发明专利]数据处理方法、装置以及电子设备在审
申请号: | 202010693821.3 | 申请日: | 2020-07-17 |
公开(公告)号: | CN111782402A | 公开(公告)日: | 2020-10-16 |
发明(设计)人: | 钟卫东;张晓帆 | 申请(专利权)人: | OPPO广东移动通信有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/10 |
代理公司: | 深圳市智圈知识产权代理事务所(普通合伙) 44351 | 代理人: | 苗燕 |
地址: | 523860 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 以及 电子设备 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取待运行模型的模型参数;
根据所述模型参数从多个算法中确定目标算法;
基于所述目标算法将所述待运行模型加载到对应的处理单元,以运行所述待运行模型。
2.根据权利要求1所述的方法,其特征在于,所述模型参数包括输入数据拆分参数以及输入数据大小;所述根据所述模型参数从多个算法中确定目标算法,包括:
若所述输入数据拆分参数表征支持输入数据拆分,且输入到所述待运行模型的输入数据大小大于第一指定阈值,从多个算法中确定数据并行化算法作为目标算法。
3.根据权利要求2所述的方法,其特征在于,所述模型参数还包括所包括算子数量超过算子阈值的层数,所述根据所述模型参数从多个算法中确定目标算法还包括:
若所述输入数据拆分参数表征不支持输入数据拆分,且所述所包括算子数量超过算子阈值的层数大于第二指定阈值,从多个算法中确定算子并行化算法作为目标算法;
或者若所述输入数据拆分参数表征支持输入数据拆分,且输入到所述待运行模型的输入数据大小不大于所述第一指定阈值,且所述所包括算子数量超过算子阈值的层数大于第二指定阈值,从多个算法中确定算子并行化算法作为目标算法。
4.根据权利要求3所述的方法,其特征在于,所述模型参数还包括模型的层数,所述根据所述模型参数从多个算法中确定目标算法还包括:
若所述输入数据拆分参数表征不支持输入数据拆分,且所述所包括算子数量超过算子阈值的层数不大于所述第二指定阈值,且所述模型的层数大于第三指定阈值,从多个算法中确定层间流水线算法作为目标算法;
或者若所述输入数据拆分参数表征支持输入数据拆分,且输入到所述待运行模型的输入数据大小不大于所述第一指定阈值,且所述所包括算子数量超过算子阈值的层数不大于所述第二指定阈值,且所述模型的层数大于第三指定阈值,从多个算法中确定层间流水线算法作为目标算法。
5.根据权利要求4所述的方法,其特征在于,所述根据所述模型参数从多个算法中确定目标算法还包括:
若所述输入数据拆分参数表征不支持输入数据拆分,且所述所包括算子数量超过算子阈值的层数不大于所述第二指定阈值,且所述模型的层数不大于所述第三指定阈值,从多个算法中确定非并行化算法作为目标算法。
6.根据权利要求1-5任一所述的方法,其特征在于,所述基于所述目标算法将所述待运行模型加载到对应的处理单元,以运行所述待运行模型,包括:
基于所述目标算法对所述待运行模型进行拆分,得到多个子部分,其中,不同目标算法所对应的拆分规则不同;
将所述多个子部分分别加载到对应的处理单元进行运行。
7.根据权利要求6所述的方法,其特征在于,所述将所述多个子部分分别加载到对应的处理单元进行运行之后还包括:
获取所述待运行模型对应的运行性能参数;
若所述运行性能参数不满足第一目标条件,重新选择所述目标算法;
若所述运行性能参数不满足第二目标条件,重新基于当前的目标算法对所述待运行模型进行拆分,得到新的多个子部分,所述新的多个子部分各部分的比例与所述多个子部分中各个部分的比例不同。
8.根据权利要求7所述的方法,其特征在于,所述第一目标条件包括:多个所述处理单元之间的平均数据通信时长不大于时长阈值。
9.根据权利要求7所述的方法,其特征在于,所述第二目标条件包括:多个所述处理单元各自对应的运行时间的标准差不大于标准差阈值。
10.一种数据处理装置,其特征在于,所述装置包括:
参数获取单元,用于获取待运行模型的模型参数;
算法确定单元,用于根据所述模型参数从多个算法中确定目标算法;
模型运行单元,用于基于所述目标算法将所述待运行模型加载到对应的处理单元,以运行所述待运行模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于OPPO广东移动通信有限公司,未经OPPO广东移动通信有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010693821.3/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据处理方法、装置以及电子设备
- 下一篇:大平面软包电池辅助装夹机构