[发明专利]光子计算神经网络运算加速方法、装置、设备及存储介质

权利要求书

1.一种光子计算神经网络运算加速方法，其特征在于，所述方法包括：

通过FPGA芯片读取待处理图像，获得所述待处理图像的输入特征图像数据；

在进行每轮卷积运算之前，确定所述FPGA芯片中的卷积神经网络的当前轮次的输入特征图像参数与输出特征图像参数；

根据所述输入特征图像参数与所述输出特征图像参数，将所述卷积神经网络的卷积核数据与所述输入特征图像数据分别传输到光子芯片的对应的驱动器中；

通过所述光子芯片，根据所述卷积核数据与所述输入特征图像数据，对所述待处理图像进行卷积运算，将卷积运算结果发送至所述FPGA芯片中；

通过所述FPGA芯片进行后续非线性运算，得到当前轮次运算结果；

重复执行多轮卷积运算以及非线性运算，得到图像处理结果；

其中，所述根据所述输入特征图像参数与所述输出特征图像参数，将所述卷积神经网络的卷积核数据与所述输入特征图像数据分别传输到光子芯片的对应的驱动器中，包括：

根据所述输入特征图像参数与所述输出特征图像参数，确定输出特征图像尺寸与输入特征图像通道数；

根据所述输出特征图像尺寸与所述输入特征图像通道数之间的大小关系，将所述卷积核数据与所述输入特征图像数据分别传输到所述光子芯片的对应的驱动器中。

2.根据权利要求1所述的方法，其特征在于，确定所述FPGA芯片中的卷积神经网络的当前轮次的输入特征图像参数与输出特征图像参数，包括：

确定所述卷积神经网络进行当前轮次计算所使用的卷积层；

确定所述卷积层的输入特征图像参数与输出特征图像参数。

3.根据权利要求1所述的方法，其特征在于，根据所述输出特征图像尺寸与所述输入特征图像通道数之间的大小关系，将所述卷积核数据与所述输入特征图像数据分别传输到所述光子芯片的对应的驱动器中，包括：

当所述输出特征图像尺寸大于或等于所述输入特征图像通道数时，将所述卷积核数据传输到所述光子芯片的热调制驱动器中，并将所述输入特征图像数据传输到所述光子芯片的电调制驱动器中；

当所述输出特征图像尺寸小于所述输入特征图像通道数时，对所述卷积核数据与所述输入特征图像数据进行互换读取，得到互换后的卷积核数据与互换后的输入特征图像数据；

将所述互换后的卷积核数据传输到所述热调制驱动器中，将所述互换后的输入特征图像数据传输到所述电调制驱动器中。

4.根据权利要求3所述的方法，其特征在于，对所述卷积核数据与所述输入特征图像数据进行互换读取，得到互换后的卷积核数据与互换后的输入特征图像数据，包括：

从所述FPGA芯片的卷积核缓存区中读取所述卷积核数据，将所述卷积核数据作为所述互换后的输入特征图像数据；

从所述FPGA芯片的输入图像缓存区读取所述输入特征图像数据，将所述输入特征图像数据作为所述互换后的卷积核数据。

5.根据权利要求1所述的方法，其特征在于，通过所述FPGA芯片进行后续非线性运算，得到当前轮次运算结果，包括：

将所述卷积运算结果发送至所述FPGA芯片的非线性计算单元中；

通过所述非线性计算单元，根据所述卷积神经网络执行的图像识别任务，进行后续的非线性计算，得到所述当前轮次运算结果。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

将所述当前轮次运算结果存储至所述FPGA芯片的内部缓存中；

在下一轮次卷积运算开始时，从所述内部缓存中读取所述当前轮次运算结果，用于下一轮次卷积运算。