[发明专利]用于神经网络训练的光子张量核集成电路架构及其神经网络训练方法

说明书

一种用于矩阵计算的光子张量核集成电路的硬件架构及其神经网络训练方法。基于光电混合相干探测与电子累积原理，实现了一种集成化的光子点积计算单元(以下简称DPU)，并且将DPU阵列式排布，形成大规模并行化的矩阵乘法计算硬件，即张量核。通过双层扇入波导总线设计，实现了二维大规模DPU阵列的互连。本发明还具体提出了将光子张量核集成电路应用于神经网络训练中的方法。本发明实现高速数据加载与高速矩阵计算；避免的了光电时钟速率不匹配导致的木桶短板效应；双层波导总线设计避免波导交叉的损耗与串扰；可以应用于所有包含矩阵计算的算法中，包括神经网络推理与训练。

技术领域

本发明涉及神经网络，特别是一种光子张量核集成电路架构及其神经网络训练方法。

技术背景

矩阵计算作为最基础的线性数学计算，是现代算法的核心计算单元，广泛应用在包括人工智能、机器学习、自动控制、通信系统等众多系统中。特别是神经网络计算(包括推理与训练)中，矩阵计算被大量使用，成为神经网络计算量最大的部分。近年来，随着深度学习和神经网络技术的发展，需要的矩阵计算资源每三个半月翻一番，导致目前支撑神经网络计算的硬件条件逐渐吃紧。在传统的通用计算机中，矩阵计算在中央处理器(CPU)中执行，由于中央处理器注重通用性，使用了更丰富的指令集但其并行化程度低(通常几个核心)，矩阵计算的效率相对较低。随后，图形处理器(GPU)由于其更高的并行化(数千个核心)，替代了CPU作为最重要的神经网络计算硬件。由于矩阵计算所需要的计算指令简单，只需要执行乘法与加法计算，使用更精简的指令集和更高的并行度将再一次突破矩阵计算的效率。因此，张量处理器(TPU)被成功实现。在谷歌公司发布的第一代TPU中，数字表示精度降低到8位但集成了65536个乘加核心，从而将矩阵计算效率提升到了电子技术目前的最高水平(约1pJ/MAC)。然而，电子技术始终面临着时钟速率受限、能量效率受限等瓶颈问题，难以将计算效率进一步提升。

在此背景下，光子计算硬件成为了突破电子技术瓶颈的有效途径。光子计算硬件的最大特征为数据传输无能量消耗和超高的时钟速率，这两点特征保证了光子计算硬件在执行矩阵乘法时有潜力突破现有电子技术的最高水平。目前，光子神经网络技术(专用于神经网络计算的光子硬件)开始起步，大量的硬件架构被提出。但在众多的光子神经网络架构中，大量关注在神经网络推理上，少有针对于神经网络训练的架构提出。然而，从目前的神经网络技术发展角度看，神经网络训练是面临电子技术瓶颈最严重的领域，因此，一种针对于高效神经网络训练的光子硬件架构将成为解决电子技术瓶颈问题的关键所在。

发明内容

本发明的目的在于针对上述现有技术的不足，提出一种用于神经网络训练的光子张量核集成电路(以下简称光子张量核)的硬件架构。基于光电混合相干探测与电子累积原理，实现了集成化的光子点积计算单元(以下简称DPU)，并且将DPU阵列式排布，形成大规模并行化的矩阵乘法计算硬件。通过双层扇入波导总线设计，实现了二维大规模DPU阵列的互连。

本发明还提出了将光子张量核应用于神经网络训练中的方法。

简要说明矩阵乘法的数学原理。

设两个相乘的矩阵A与B，其矩阵乘法输出矩阵为C＝AB。其中A的维度为M×S，B的维度为S×N，通过矩阵乘法，输出矩阵C的维度为M×N。C中的每一个元素都是通过A矩阵的行与B矩阵的列进行点乘运算得到，如下：

其中，C_ij表示C矩阵中的第i行第j列元素。因此，计算C＝AB总共需要进行M×N次点积运算。

本发明光子张量核集成电路，其特点在于，主要结构包含脉冲光源、分光器阵列、A矩阵调制器阵列、B矩阵调制器阵列、层间耦合器阵列、上层总线波导、下层总线波导、点积单元阵列组成。

在芯片上，光的传输媒介为集成光波导，集成光波导分为上层光波导和下层光波导。

光子张量核的各部件功能描述如下。