[发明专利]加速人工智能处理器的硬件架构

说明书

加速人工智能处理器的硬件架构，包括：主机、前叶引擎、顶叶引擎、渲染器引擎、枕形引擎、颞叶引擎和内存；前叶引擎从主机得到5D张量，并将其分为若干组张量，并将这些组张量发送至顶叶引擎；顶叶引擎获取组张量并将其分成若干张量波，将这些张量波发送到渲染器引擎，以执行输入特征渲染器，并将部分张量输出到枕形引擎；枕形引擎积累部分张量，执行输出特征渲染器，以获得发送到颞叶引擎的最终张量；颞叶引擎进行数据压缩，并将最终张量写入内存中。本发明中人工智能工作被分成许多高度平行的部分，有些部分被分配到一个引擎中进行处理，引擎数量是可配置的，提高了可扩展性，所有的工作分区和分配都在此架构中实现，以此获得高性能功效。

技术领域

本发明属于人工智能领域，具体涉及一种加速人工智能处理器的硬件架构。

背景技术

人工智能（AI）处理是近来的热门话题，它既是计算和内存密集型，也要求高性能-功耗效率。 使用CPU和GPU等当前设备加速并不容易，许多如GPU+ TensorCore、TPU、CPU+FPGA和AI ASIC等解决方案都试图解决这些问题。GPU+ TensorCore主要着眼于解决计算密集问题，TPU着眼于计算和数据重用，CPU+ FPGA/AI ASIC注重提高性能-功耗效率。

然而，GPU只有三分之一的逻辑用于AI，所以不可以获得更高的性能功效。TPU需要更多的软件工作来重塑数据布局，并将作业进行分割，并将它们发送到计算核心。至于CPU和DSP解决方案，它们的计算机核心是矢量处理器，不适用于AI管道工程。

因此，我们发明了以下的硬件架构以解决这些问题，虽然还有很多其他的AIASIC，但是我们的AI ASIC具有更好的架构。

发明内容

本发明针对现有技术中的不足，提供一种加速人工智能处理器的硬件架构。

为实现上述目的，本发明采用以下技术方案：

一种加速人工智能处理器的硬件架构，其特征在于，人工智能工作被视为5D张量，在每一维度中，工作被分成若干组，每一组进一步被分成若干波；

其中，硬件架构包括：主机、前叶引擎、顶叶引擎、渲染器引擎、枕形引擎、颞叶引擎和内存；前叶引擎从主机得到5D张量，并将其分为若干组张量，并将这些组张量发送至顶叶引擎；顶叶引擎获取组张量并将其分成若干张量波，顶叶引擎将这些张量波发送到渲染器引擎，以执行输入特征渲染器，并将部分张量输出到枕形引擎；枕形引擎积累部分张量，并执行输出特征渲染器，以获得发送到颞叶引擎的最终张量；颞叶引擎进行数据压缩，并将最终张量写入内存中。

为优化上述技术方案，采取的具体措施还包括：

每个顶叶引擎根据用户定义的输入特征渲染器处理组张量，并将部分和输出到枕形引擎中。

在统一渲染架构中，执行输出特征渲染器具体为：输出特征渲染器被发送回顶叶引擎，一旦顶叶引擎完成渲染，将结果发送回枕形引擎。

在分离渲染架构中，执行输出特征渲染器具体为：输出特征渲染器在枕形引擎中进行处理，枕形引擎将输出张量发送到颞叶引擎，颞叶引擎进行后处理，并将其发送到DRAM或者保持在缓存中以进一步处理。

顶叶引擎的数量是可配置的，前叶引擎以轮询调度的方式将组张量发送给顶叶引擎，每个顶叶引擎由特定的流式感知器处理器组成，所有的流式感知器处理器共享一个L2缓存和一个导出块。

流式感知器处理器由运算器和作为计算核心的神经元组成，运算器核用于一般计算，神经元核用于人工智能计算，神经元由L1缓存和乘法累加器组成。

张量波被发送到神经元，神经元在张量波上运行输入特征渲染器，结果被导出到枕形引擎，枕形引擎进行必要的累加后将结果发送回顶叶引擎，顶叶引擎在运算器上进行输出特征渲染器，并将结果输出到颞叶引擎。