[发明专利]一种基于FPGA的神经网络编曲方法及装置

权利要求书

1.一种基于FPGA的神经网络编曲装置，其特征在于，包括：

显示模块，用于显示播放状态信息；

控制按键模块，用于选择不同的播放模式；

音频解码模块，用于播放经人工智能计算自动生成的音乐；

带神经网络硬件加速器软核的FPGA模块，用于实现对所述显示模块、所述控制按键模块和所述音频解码模块的控制以及人工智能数据运算；所述FPGA模块搭载片上系统，所述片上系统包括基于指令集的架构的神经网络硬件加速器、数据调度模块和存储器，所述神经网络硬件加速器用于根据已搭建的神经网络模型进行运算，在运算过程中，所述数据调度模块将模型权重由所述存储器搬移至所述神经网络硬件加速器进行运算，得到运算结果后，将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。

2.根据权利要求1所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统使用软核CPU作为控制器，使用DDR3SDRAM和TF卡作为存储器，通过音频CODEC芯片实现音频解码，且搭载有通用异步收发传输器UART、串行外设接口SPI、I2C、I2S、DDR3SDRAM控制器，并利用AHB总线进行连接。

3.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统通过UART接口进行与上位机的通信以及打印log信息，通过SPI接口实现TF卡的读写，并通过I2C接口和I2S接口对音频CODEC芯片进行配置和数据传输。

4.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述片上系统使用TF卡获得所述神经网络模型训练后得到的数据以及音符对应的音频波形数据，并在所述片上系统启动时被DDR3 SDRAM读取，所述神经网络模型中不同类型的权重按规则储存在TF卡和DDR3 SDRAM对应的地址，用户程序需要根据此地址控制所述神经网络硬件加速器实现权重的搬移。

5.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述神经网络硬件加速器能够通过CPU在总线上写寄存器的方式接收来自用户程序的指令，并按照指令进行存储器读写访问操作、片内专用缓存操作和运算资源模块操作。

6.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述数据流调度模块能够通过CPU在总线上写寄存器的方式接收来自用户程序的指令，并按照指令配置片外存储器与片内模块和片内缓存间的数据调度。

7.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述神经网络硬件加速器以多路并行乘法器为运算核心，多个分布式缓冲器暂存运算中间数据；使用分段函数拟合，以及利用sigmoid和tanh中心对称的特性对激活函数进行硬件实现。

8.根据权利要求2所述的基于FPGA的神经网络编曲装置，其特征在于，所述神经网络硬件加速器使用线性反馈移位寄存器LFSR生成伪随机数，使用多个区间的查找表的方式实现指数运算，并协同对SOFTMAX进行硬件实现。

9.根据权利要求1所述的基于FPGA的神经网络编曲装置，其特征在于，所述神经网络模型的搭建方法包括：通过软件编程的方式配置词嵌入模型对音符编码，使用三层GRU、一层全连接层以及SOFTMAX进行搭建。

10.一种基于FPGA的神经网络编曲方法，应用于权利要求1-9任一项所述的基于FPGA的神经网络编曲装置，其特征在于，包括以下步骤：

S1.所述神经网络硬件加速器根据已搭建的神经网络模型进行运算，在运算过程中，所述数据调度模块将模型权重由所述存储器搬移至所述神经网络硬件加速器进行运算；

S2.得到运算结果后，所述数据调度模块将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。