[发明专利]数据处理方法和装置、存储介质及电子装置有效
申请号: | 201910817926.2 | 申请日: | 2019-08-30 |
公开(公告)号: | CN110780921B | 公开(公告)日: | 2023-09-26 |
发明(设计)人: | 于潇宇;陈德炜;熊焰;章恒;严靖琳;孟玉;李嘉昕;高剑林 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F9/30 | 分类号: | G06F9/30;G06F9/302;G06F9/38;G06N3/063;G06N3/08;G06N3/0464 |
代理公司: | 北京康信知识产权代理有限责任公司 11240 | 代理人: | 周婷婷 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 电子 | ||
1.一种数据处理方法,其特征在于,包括:
读取数据处理指令,其中,所述数据处理指令中携带有用于对待处理的目标数据流执行张量运算的多个指令域,每个所述指令域用于指示在所述张量运算过程中所要调用的参数;
根据所述数据处理指令,确定在每个处理周期内所要处理的所述目标数据流中的对象数据对应的对象存储地址,以及对所述对象数据所执行的对象处理操作;
在所述处理周期内从所述对象存储地址中读取所述对象数据,并通过并行执行模块对所述对象数据执行所述对象处理操作,包括:根据所述数据处理指令确定所述对象数据的格式均为张量的情况下,从所述对象存储地址中读取格式为张量的所述对象数据;通过并行执行模块中的多个并行操作算子对所述对象数据执行所述对象处理操作;和/或,根据所述数据处理指令确定所述对象数据包括格式为张量的第三对象数据和格式为向量的第四对象数据的情况下,从所述对象存储地址中读取所述第三对象数据及所述第四对象数据;通过所述多个并行操作算子,对所述第三对象数据及所述第四对象数据执行所述对象处理操作;
其中,在所述对象数据是深度为N的张量,且所述并行执行模块中包括M个并行操作算子的情况下,所述通过所述并行执行模块中的多个并行操作算子对所述对象数据执行所述对象处理操作包括:
在MN的情况下,根据N/M的上取整结果对所述对象数据进行拆分,得到多个张量数据片段;依次读取每个所述张量数据片段,并在每个所述处理周期内将所述张量数据片段中每个位置上的向量在深度上的分量分别输入每个并行操作算子中执行所述对象处理操作;
在M≥N的情况下,在每个所述处理周期内将所述对象数据中每个位置上的向量在深度上的分量分别输入每个并行操作算子中执行所述对象处理操作;
存储所述并行执行模块返回的处理结果。
2.根据权利要求1所述的方法,其特征在于,所述根据所述数据处理指令,确定在每个处理周期内所要处理的所述目标数据流中的对象数据对应的对象存储地址,以及对所述对象数据所执行的对象处理操作包括:解析所述数据处理指令,得到所述多个指令域;
根据所述多个指令域,确定在每个所述处理周期内所要处理的所述对象数据的数据类型以及所述对象处理操作的操作标识;
在所述对象数据的数据类型包括权值参数的情况下,从权值缓存中确定出所要加载的所述权值参数的参数对象存储地址;
在所述对象数据的数据类型包括待处理数据的情况下,从数据缓存中确定出所要加载的所述待处理数据的数据对象存储地址。
3.根据权利要求2所述的方法,其特征在于,所述在所述处理周期内从所述对象存储地址中读取所述对象数据,并通过并行执行模块对所述对象数据执行所述对象处理操作包括:
在所述操作标识指示所述对象处理操作为逻辑运算处理操作的情况下,将读取到的所述对象数据输入所述并行执行模块中用于实现逻辑运算处理的多个第一并行操作算子;
在所述操作标识指示所述对象处理操作为数据整型操作的情况下,将读取到的所述对象数据输入所述并行执行模块中用于实现数据整型处理的多个第二并行操作算子。
4.根据权利要求1所述的方法,其特征在于,所述在所述处理周期内从所述对象存储地址中读取所述对象数据,并通过并行执行模块对所述对象数据执行所述对象处理操作包括:
根据所述数据处理指令确定所述对象数据包括格式为张量的第一对象数据及格式为标量的第二对象数据的情况下,从所述对象存储地址中读取所述第一对象数据,并从所述指令域中解析出所述第二对象数据;
对所述第二对象数据进行复制,以生成参数向量,其中,所述参数向量的长度等于所述多个并行操作算子的数量;
将所述参数向量的分量分别输入所述多个并行操作算子中;
通过所述多个并行操作算子,对所述第一对象数据及所述参数向量执行所述对象处理操作。
5.根据权利要求1所述的方法,其特征在于,在所述读取数据处理指令之前,还包括:
在指令缓存为空或所述指令缓存为非空非满的情况下,从动态随机存储器中加载多条数据处理指令到所述指令缓存中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910817926.2/1.html,转载请声明来源钻瓜专利网。