[发明专利]光子计算神经网络运算加速方法、装置、设备及存储介质

说明书

本申请实施例涉及数据处理技术领域，具体涉及一种光子计算神经网络运算加速方法、装置、设备及存储介质，旨在实现高效能的光电混合智能计算，加速深度神经网络的计算速度。所述方法包括：读取待处理图像，获得待处理图像的输入特征图像数据；在进行每轮卷积运算之前，确定卷积神经网络的当前轮次的输入特征图像参数与输出特征图像参数；根据输入特征图像参数与输出特征图像参数，将卷积神经网络的卷积核数据与输入特征图像数据分别传输到光子芯片的对应的驱动器中；根据卷积核数据与输入特征图像数据，对待处理图像进行卷积运算；通过FPGA芯片进行后续非线性运算，得到当前轮次运算结果；重复执行多轮卷积运算以及非线性运算，得到图像处理结果。

技术领域

本申请实施例涉及数据处理技术领域，具体而言，涉及一种光子计算神经网络运算加速方法、装置、设备及存储介质。

背景技术

光学计算是最近新兴的一个计算方法，其计算速度较常规的电子计算有着质的提升，但受限于外部部署器件支持不足，大规模的光子器件难以有序的控制，运算信息也难以保存，神经形态光子学（Neuromorphic Photonics）应运而生，其主要是采用光电混合的方式，将光学计算嵌入到传统电子神经网络模型中，充分发挥各自的技术优势，既可以提高网络计算效率，又可以同时保留网络的兼容性。现有技术中通常将电学器件与光学器件结合，进行深度神经网络的计算，加速深度神经网络算法的计算速度。

现有技术中，当使用光子计算来加速深度神经网络中的卷积运算时，电学器件与光学器件之间的数据通信延迟较大，制约了深度神经网络卷积运算的速度。

发明内容

本申请实施例提供一种光子计算神经网络运算加速方法、装置、设备及存储介质，旨在实现高效能的光电混合智能计算，加速深度神经网络的计算速度。

本申请实施例第一方面提供一种光子计算神经网络运算加速方法，所述方法包括：

通过FPGA芯片读取待处理图像，获得所述待处理图像的输入特征图像数据；

在进行每轮卷积运算之前，确定所述FPGA芯片中的卷积神经网络的当前轮次的输入特征图像参数与输出特征图像参数；

根据所述输入特征图像参数与所述输出特征图像参数，将所述卷积神经网络的卷积核数据与所述输入特征图像数据分别传输到光子芯片的对应的驱动器中；

通过所述光子芯片，根据所述卷积核数据与所述输入特征图像数据，对所述待处理图像进行卷积运算，将卷积运算结果发送至所述FPGA芯片中；

通过所述FPGA芯片进行后续非线性运算，得到当前轮次运算结果；

重复执行多轮卷积运算以及非线性运算，得到图像处理结果。

可选地，确定所述FPGA芯片中的卷积神经网络的当前轮次的输入特征图像参数与输出特征图像参数，包括：

确定所述卷积神经网络进行当前轮次计算所使用的卷积层；

确定所述卷积层的输入特征图像参数与输出特征图像参数。

可选地，根据所述输入特征图像参数与所述输出特征图像参数，将所述卷积神经网络的卷积核数据与所述输入特征图像数据分别传输到光子芯片的对应的驱动器中，包括：

根据所述输入特征图像参数与所述输出特征图像参数，确定输出特征图像尺寸与输入特征图像通道数；

根据所述输出特征图像尺寸与所述输入特征图像通道数之间的大小关系，将所述卷积核数据与所述输入特征图像数据分别传输到所述光子芯片的对应的驱动器中。

可选地，根据所述输出特征图像尺寸与所述输入特征图像通道数之间的大小关系，将所述卷积核数据与所述输入特征图像数据分别传输到所述光子芯片的对应的驱动器中，包括：