[发明专利]一种基于光散射的矩阵运算立体结构单元

说明书

本发明公开了一种基于光散射的矩阵运算立体结构单元，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器；所述电光调制单元用于将输入的电信号转换为各自不同频率的N维光信号并输出到该立体结构单元，该立体结构将计算该矩阵与列向量的叉乘结果并输出到光电检测器转化为电信号，得到最终的输出。本发明的电光混合的矩阵乘法，具备高带宽、低损耗、所需空间小等优势。

技术领域

本发明涉及了一种基于反向优化的立体结构光子矩阵乘法单元，从而实现电光混合的片上矩阵运算。

背景技术

近年来，随着机器学习技术的发展，深度神经网络在各种新兴应用中表现出革命性的性能提升。特别是深度卷积神经网络(CNN)在计算机视觉、图像处理、语音处理、医疗诊断、游戏、信号处理等领域产生了深远的影响，成为现代人工智能的基石。深度神经网络虽然具有先进的性能，但其复杂的结构和大量的参数在训练和推理过程中消耗了大量的计算资源。因此，对高速、低功耗的神经网络加速器有着迫切的需求。

光学方法是下一代神经网络加速器的潜在方法，因为光学元件和技术具有超宽频带和低功耗的特点。利用空间光衍射、片上相干干涉、波分复用等光学技术论证了光学神经网络(ONN)的可行性。从数值和实验结果可以很好地推断出它的高速和低功耗性能。在这些关于光学神经网络的先驱工作中，主要考虑了全连接神经网络，因此这些架构被设计成矢量矩阵乘法器。当涉及到卷积神经网络(CNN)时，这些架构可能会面临巨大的挑战，因为将卷积层转换为向量-矩阵乘法需要一个巨大的光学电路。如果输入图像的大小为N×N，则该光电路的内嵌参数个数为N⁴。克服这一障碍的一种可行方法是通过复用光学硬件将卷积层转换为矩阵-矩阵乘法。因此，嵌入参数的数量显著减少，大约几十个，完整的计算在N²时间周期内完成。

发明内容

根据硬件复用的概念，本发明提出了一种光学矩阵计算单元立体结构，该结构可以在一个单元中执行任意复杂CNN中的所有卷积。由于一个矩阵乘法可以通过多个点积运算等价地实现，因此该架构可以重复使用以实现矩阵乘法器的相同功能，从而减轻了控制难度。

为了克服集成电子电路巨大的能耗和显著的信号延迟，利用光子器件高带宽、低功耗、所需空间小的优势，本发明提出了一种基于光散射的矩阵运算立体结构，可以高速低能耗地进行N维矩阵运算。

一种基于光散射的矩阵运算立体结构单元，包括依次连接的电光调制单元、光学矩阵计算单元和光电检测器。所述电光调制单元用于将输入的N维列向量电信号转换为各自不同频率的N维光信号并输出到光学矩阵计算单元，光学矩阵计算单元中实现矩阵P与N维列向量的叉乘结果并输出到光电检测器转化为电信号，得到最终的输出。

所述矩阵P表述形式：

设输入光学矩阵计算单元的N维光信号为光学矩阵计算单元实现矩阵P与N维列向量的叉乘结果后，输出N维光信号为其中：

通过以光信号的功率来表征所传递的电信号和矩阵元素，方便了光电之间的读数和转换。借助规定N维光信号的频率各不相同，从而使得将光信号在后端只需简单线性相加而无需讨论相位匹配问题，并且便于使用到后续光学神经网络的训练。

进一步的，所述光学矩阵计算单元包括N层前端光散射单元和N层后端光散射单元，且二者之间通过波导连接，前端光散射单元和后端光散射单元的个数和矩阵P的维度相同；

N层前端光散射单元由N个前端光散射单元堆叠而成，N层后端光散射单元由N个后端光散射单元堆叠而成，N层前端光散射单元和N层一端光散射单元的堆叠方向呈垂直关系，每层前端光散射单元均通过N个波导分别与N个后端光散射单元连接；