[发明专利]数据处理方法、装置、计算机设备和存储介质在审
申请号: | 202110673119.5 | 申请日: | 2019-08-14 |
公开(公告)号: | CN113435591A | 公开(公告)日: | 2021-09-24 |
发明(设计)人: | 不公告发明人 | 申请(专利权)人: | 中科寒武纪科技股份有限公司 |
主分类号: | G06N3/063 | 分类号: | G06N3/063 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100191 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 计算机 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取神经网络计算图,其中,所述神经网络计算图中的数据节点包含数据的标签信息,所述标签信息包括静态标签信息和/或动态标签信息;
根据所述神经网络计算图及所述神经网络计算图中包含的标签信息,对所述神经网络计算图进行编译,获得一个或多个指令,以通过执行所述指令实现神经网络的训练或推理运算。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
确定神经网络计算图中数据节点的标签信息;
其中,所述静态标签信息包括以下至少一项:数据类别、静态数据类型、静态数据维度、静态数据维度顺序以及对应每个静态数据维度的维度值。
3.根据权利要求2所述的方法,其特征在于,所述确定神经网络计算图中数据节点的标签信息,包括:
根据所述数据节点对应的待处理数据对应于神经网络的出度、入度和待处理数据参与的神经网络中的操作,确定待处理数据的数据类别;
其中,所述数据类别包括以下任一项:指令、输入神经元、输出神经元、隐藏神经元、常量神经元、输入权值、输出权值、常量权值和辅助数据。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述确定神经网络计算图中数据节点的标签信息还包括:
根据所述处理器的信息和所述静态标签信息,生成所述数据节点中待处理数据的动态标签信息;
其中,所述动态标签信息包括以下至少一项:动态数据类型、动态数据维度顺序、分片参数、填充参数和数据尺寸。
5.根据权利要求4所述的方法,其特征在于,所述根据所述处理器的信息和所述静态标签信息,生成所述数据节点中待处理数据的动态标签信息,包括以下至少一项:
根据目标处理器所能处理的数据的数据类型确定动态数据类型;
根据目标处理器的读取、存储数据的维度顺序确定动态数据维度顺序;
根据目标处理器每一次处理的数据位数确定分片参数;
根据分片参数、静态数据维度的维度值确定填充参数;
根据静态数据维度的维度值、分片参数以及填充参数确定数据尺寸。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
根据数据节点中待处理数据的动态标签信息,对数据节点中的待处理数据进行转换,得到转换后的数据。
7.根据权利要求6所述的方法,其特征在于,根据所述动态标签信息对所述待处理数据进行处理,得到处理后数据,包括:
判断所述待处理数据当前的数据状态是否与所述动态标签信息一致;
在所述待处理数据当前的数据状态与所述动态标签信息不一致时,根据所述动态标签信息对所述待处理数据进行处理,得到处理后数据;
其中,所述处理后数据的数据状态与所述待处理数据的动态标签信息一致,所述数据状态包括数据类型、数据维度的顺序和维度值。
8.根据权利要求7所述的方法,其特征在于,在所述待处理数据当前的数据状态与所述动态标签信息不一致时,根据所述动态标签信息对所述待处理数据进行处理,得到处理后数据,包括以下至少一项处理:
将所述待处理数据的数据类型转换为所述动态数据类型;
对所述待处理数据的数据维度的顺序进行调整;
根据所述填充参数,对所述待处理数据进行填充;
根据所述分片参数,对所述待处理数据进行切分。
9.根据权利要求7或8所述的方法,其特征在于,所述方法还包括:
根据所述处理后数据的动态标签信息,从所述处理器的数据存储空间中申请用于存储所述处理后数据的转移数据存储空间;
将所述处理后数据存入所述转移数据存储空间中。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述方法还包括:
执行所述指令和所述神经网络对应的待处理数据,实现神经网络的训练或推理运算。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中科寒武纪科技股份有限公司,未经中科寒武纪科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110673119.5/1.html,转载请声明来源钻瓜专利网。