[发明专利]一种适用于专用神经网络加速器的数据双层缓存方法

说明书

本发明公开了一种适用于专用神经网络加速器的数据双层缓存方法，涉及神经网络技术领域。本发明的专用神经网络加速器采用至少两块小容量片上SRAM实现子网络层间数据的第一级“乒乓缓冲”；数据双层缓存方法包括如下步骤：S01、主控制器搬移输入数据到片内SRAM存储器1；S02、数据缓冲器从片内SRAM存储器1中选择数据缓存到缓冲器1中，开始计算矩阵运算并缓存；S03、重复步骤S02，直到数据全部计算完成；S04、检查片内SRAM存储器2是否已完成数据搬移。本发明有效降低数据等待时间和存储带宽需求，减少对高性能高成本存储器的需求,有效减少数据搬移量和有效数据等待时间，最大化数据复用率。

技术领域

本发明属于神经网络技术领域，特别是涉及一种适用于专用神经网络加速器的数据双层缓存方法。

背景技术

深度神经网作为计算密集型及存储密集型应用，具有运算机制复杂、运算量庞大、存储带宽需求高的特征，且随着深度神经网络规模的增加，总体计算量越来越大，存储带宽需求一般在几十GB/s以上，以NVIDIA Tesla T4GPU芯片执行ResNet50深度神经网络推理为例，ResNet50推理需8GOPS左右算力，访问45MB左右数据，而Tesla T4理论峰值算力130TOPS，假设推理利用率可达85％，那么1秒内的数据访问量高达600GB以上，已经远超GDDR6 DRAM的320GB/s峰值带宽，因此，“存储墙”已成为公认的限制深度学习运算加速的首要问题。为解决存储器与处理器性能不匹配问题，一些采用近存计算或存内计算的专用神经网络加速器及其他采用特殊存储结构的神经网络加速器被提出，这类加速器往往需要在片内配置几十MB，甚至上百MB的静态随机存取存储器(SRAM)，以及效率与成本相对更高的高带宽存储器(HBM)。这些设计方案虽然降低了存储带宽对深度学习运算加速的约束，但芯片面积增大、功耗增加、成本更高。

目前存在的一些神经网络加速器为了满足深度神经网络运算的高存储带宽需求，普遍采用大容量的高速片内存储器SRAM及高带宽的片外存储器HBM，这些设计虽然提高了存储速率保证了运算效率，但增加了芯片成本及功耗。如专利号为CN102426553，名称为基于双缓存预读的向用户传输数据的方法和装置的中国发明专利，本专利技术与之相比：保护对象相同，都是提高数据使用效率的方法，但是解决的问题不同，包括本专利技术是对专用神经网络加速器，而比对文件是针对通用CPU；本技术的缓存数据是为了保证运算效率，并减少使用片上大容量SRAM和高成本HBM存储器，比对文件的缓存数据是为了提高运算效率，提高用户体验；计算机系统中的存储子系统一般包含四个层次，硬盘-内存(片外DRAM)-cache(片内SRAM)-寄存器文件(处理器内部)，本专利解决的是内存-cache层次问题(纳秒微秒级)，比对文件解决的是硬盘-内存层次问题(分钟级)；

“双缓存”意义不同，比对文件中的双缓存是指在内存中开辟两块空间，一块为当前时间段运算使用，一块为下一时间段使用；本专利技术中双缓存包含两层含义，i)第一级缓存在cache开辟两块空间，一块当前时间段使用，第二块下一时间段使用，第二级缓存在寄存器文件开辟两块空间，第一块为当前时间段的第i次使用，第二块为当前时间段的第i+1次使用；ii)04中的双缓存是指在两个存储层次上的缓存，即内存-cache,cache-寄存器文件，而比对文件中的双缓存是指开辟内存的空间数量。

本发明要解决的技术问题是提出了一种适用于专用神经网络加速器的数据双层缓存方法，使用该方法可为配置小容量片内静态随机存取存储器及低成本片外动态随机存取存储器(DRAM)的加速器提供较高的存储带宽。

发明内容

本发明提供了一种适用于专用神经网络加速器的数据双层缓存方法，解决了以上问题。

为解决上述技术问题，本发明是通过以下技术方案实现的：