[发明专利]基于数据流架构的稀疏神经网络的运算方法有效
申请号: | 202110161624.1 | 申请日: | 2021-02-05 |
公开(公告)号: | CN113313247B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 刘天雨;吴欣欣;李文明;叶笑春;范东睿 | 申请(专利权)人: | 中国科学院计算技术研究所 |
主分类号: | G06N3/082 | 分类号: | G06N3/082 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100190 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 数据流 架构 稀疏 神经网络 运算 方法 | ||
1.一种基于数据流架构的稀疏神经网络的运算方法,包括:
依据数据流处理器的结构将稀疏神经网络的运算任务从低到高依次划分为子任务、任务和应用三个运算层级;
确定所述运算层级中每个所述任务包含的所述子任务的个数、每个所述应用包含的所述任务的个数以及所述应用的个数,其中所述稀疏神经网络的输入图像数据和权重数据至少之一是稀疏矩阵;
依据所述运算层级以及各个运算层级的个数,将所述稀疏神经网络的输入图像数据和权重数据的稀疏矩阵划分为若干数据块;以及
基于所述运算层级以及每个运算层级对应的数据块完成所述稀疏神经网络的运算任务,
其中,在所述运算层级中,所述运算任务包含若干个应用,每个所述应用包含若干个任务,每个所述任务包含若干个子任务,以及其中,所述应用用于执行所述稀疏神经网络的输入图像数据与部分权重数据的矩阵乘运算,所述任务用于执行所述输入图像数据与该任务所属应用对应的所述部分权重数据中的部分列权重数据的矩阵乘运算,所述子任务用于执行所述输入图像数据中的部分行输入图像数据与该子任务所属任务对应的部分列权重数据的矩阵乘运算。
2.根据权利要求1所述的方法,其中,所述任务用于执行所述输入图像数据与该任务所属应用对应的所述部分权重数据中的8列权重数据的矩阵乘运算,所述子任务用于执行所述输入图像数据中的8行输入图像数据与该子任务所属任务对应的8列权重数据的矩阵乘运算。
3.根据权利要求2所述的方法,其中,所述确定所述运算层级中每个所述任务包含的所述子任务的个数、每个所述应用包含的所述任务的个数以及所述应用的个数包括:
设置每个所述任务包含2个所述子任务;
设置每个所述应用中包含的所述任务的个数;
依据所述稀疏神经网络中权重数据的大小以及每个所述应用包含的所述任务的个数确定所述应用的个数。
4.根据权利要求3所述的方法,其中,所述依据所述运算层级以及各个运算层级的个数,将所述稀疏神经网络的输入图像数据和权重数据划分为若干数据块包括:
依据所述应用的个数将所述稀疏神经网络中的权重数据划分为若干权重数据块;
依据每个所述应用包含的所述任务的个数将每个所述权重数据块划分为若干权重子数据块,其中每个所述权重子数据块包含8列权重数据;
将所述输入图像数据划分为若干输入图像块,每个所述输入图像数据块包含8行输入图像数据。
5.根据权利要求4所述的方法,其中,所述基于所述运算层级以及每个运算层级对应的数据块完成所述稀疏神经网络的运算任务包括:
5-1)对于每个所述应用中包含的任一所述任务,将每个所述任务对应的所述权重子数据块与所述输入图像数据进行矩阵乘法运算,直至完成所述应用中的所有所述任务;
5-2)重复上述步骤5-1),直至完成所有所述应用。
6.根据权利要求5所述的方法,其中,所述任务包括第一子任务和第二子任务,以及其中,所述第一子任务用于执行所述任务对应的所述权重子数据块在所述数据流处理器的计算阵列上的传递和复用,所述第二子任务用于执行每个所述输入图像数据块在所述数据流处理器的计算阵列上的传递、复用、与所述任务对应的所述权重子数据块的矩阵乘法运算以及存储结果。
7.根据权利要求4所述的方法,还包括:
提取每个所述权重数据块中的有效权重数据;
建立每个所述权重数据块对应的数据索引记录;以及
基于所述数据索引记录以及每个所述子任务对应的数据块完成所述稀疏神经网络的运算任务。
8.根据权利要求7所述的方法,其中,所述建立每个权重数据块对应的数据索引记录包括:依据所述每个权重数据块中每一行/列中有效权重数据的个数以及每个所述有效权重数据在所在行/列中的位置建立所述每个权重数据块对应的索引记录。
9.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-8中任一项所述的方法。
10.一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-8中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院计算技术研究所,未经中国科学院计算技术研究所许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110161624.1/1.html,转载请声明来源钻瓜专利网。