[发明专利]支持多线程的数据搬运装置及处理器

说明书

本申请提供了支持多线程的数据搬运装置，其包括控制模块、指令缓存、上下文缓存以及由读入DMA模块、数据缓存模块和输出DMA模块构成的以流水线方式运行的数据通路。该数据通路中每个模块在处理完一个指令后将相关指令信息和数据一起传递至流水线中的下一个模块，接着开始处理下一个指令；与指令相关的上下文信息保存在上下文缓存中由各模块共享。该数据搬运装置在尽量减少面积开销的前提下提高了多线程场景中数据搬移的效率。

技术领域

本申请涉及并行计算处理器，尤其涉及适用于多核心并行计算中的数据搬运的装置及处理器。

背景技术

本部分的陈述仅仅是为了提供与本申请的技术方案有关的背景信息，以帮助理解，其对于本申请的技术方案而言并不一定构成现有技术。

人工智能(AI)技术在近些年来得到了迅猛的发展，已经渗透至视觉感知、语音识别、辅助驾驶、智能家居、交通调度等各个领域。很多AI算法都涉及到基于神经网络的学习和计算，例如卷积神经网络CNN、循环神经网络RNN、深度神经网络DNN等等。这些AI算法要求较强的并行计算能力以处理海量数据，因此通常采用诸如GPU、GPGPU、AI加速器之类的能支持多核心并行计算的处理器来执行多层神经网络运算。这些处理器中通常采用单指令多线程(SIMT，Single Instruction Multiple Threads)架构，多个线程的任务可以同时运行在处理器的不同计算核心(core)上，当一组线程因为访存或其他原因出现等待时，就将其挂起，转而执行另一组线程，处理器的控制单元可以在多组线程之间快速切换，以此来尽量最大化处理器的吞吐量。然而，数据的存取速度始终是影响处理器运算效率的重要因素。如何在片上缓存和片外存储器之间高效率地进行大量的数据搬运是并行计算处理器中亟需解决的问题。

需要说明的是，上述内容仅用于帮助理解本申请的技术方案，并不作为评价本申请的现有技术的依据。

发明内容

发明人在实践中发现虽然可以通过在芯片内部设置片上高速缓存来预取部分数据和缓存计算结果的方式来改善数据的存取速度，但由于诸如成本、体积等方面的限制，片上缓存的容量通常是有限的。尤其是在涉及神经网络的应用中，这样有限的片上缓存往往无法缓存与神经网络的多个层相关的所有数据。另外，发明人也尝试了采用直接存储器访问(Direct Memory Access，DMA)来进行片上缓存和片外存储器之间数据搬运，但发现由于每次启用DMA都需要各个计算核心来分别启动和配置DMA传输，这大大降低了多核心上大数量的多线程任务的执行效率。虽然可以尝试通过流水线架构的DMA来提高指令之间并行性，但在用来执行诸如神经网络之类的AI算法的SIMT处理器中，除了指令之外，往往还需要额外的上下文来描述待处理的数据(例如神经网络各个层的输入和输出的数据排列、数据类型、特征图大小等等)，如果将这些上下文连同指令一起沿流水线传播，必然会产生很大的面积消耗。

因此，本申请实施例提供了一种支持多线程的数据搬运装置，在尽量减少面积开销的前提下提高多线程场景下的数据搬移效率，尤其适用于SIMT处理器中的数据搬移。

上述目的是通过以下技术方案实现的：

根据本申请实施例的第一方面，提供了一种支持多线程的数据搬运装置，包括控制模块、指令缓存、上下文缓存以及以流水线方式运行的数据通路。所述数据通路至少包括读入DMA模块、数据缓存模块和输出DMA模块。其中所述指令缓存和所述上下文缓存可以由所述数据通路中各模块所共享，以及其中：