[发明专利]一种基于FPGA的神经网络编曲方法及装置

说明书

本发明公开了一种基于FPGA的神经网络编曲方法及装置，该装置包括显示模块、控制按键模块、音频解码模块以及带神经网络硬件加速器软核的FPGA模块，其中FPGA模块用于实现对各模块的控制以及人工智能数据运算，其搭载有片上系统，片上系统包括基于指令集的架构的神经网络硬件加速器、数据调度模块和存储器，神经网络硬件加速器用于根据已搭建的神经网络模型进行运算，在运算过程中，数据调度模块将模型权重由存储器搬移至神经网络硬件加速器进行运算，得到运算结果后，将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。本发明可解决现有的神经网络编曲方法在算力和可重构性方面的局限。

技术领域

本发明涉及神经网络硬件加速技术领域，尤其涉及一种基于FPGA的神经网络编曲方法及装置。

背景技术

为了提高音乐创作效率和更具新奇感的音乐效果，利用算法自动作曲的方法已经不同程度地应用到计算机辅助编曲体系中，其中遗传算法、人工神经网络、马尔科夫链、混合型算法使用最为广泛。近些年随着人工智能技术的发展，人工神经网络已经被广泛地使用在音乐应用系统中。目前AIVA，Google,以及国内的网易等公司已经能够在服务器端实现高质量的人工智能音频处理和音乐创作，而针对边缘计算端侧则考虑到成本、应用场景制约，常常要在算力、功耗、可重构性等方面进行权衡，仍有较大的可提升空间。同时，人工智能编曲模型通常以循环神经网络为核心，而目前大多神经网络加速器主要针对卷积神经网络，对循环神经网络则缺少针对性的优化。

发明内容

为了解决上述问题，本发明提出一种基于FPGA的神经网络编曲方法及装置，可以解决现有的神经网络编曲方法在算力和可重构性方面的局限，本发明采用的技术方案如下：

一种基于FPGA的神经网络编曲装置，包括：

显示模块，用于显示播放状态信息；

控制按键模块，用于选择不同的播放模式；

音频解码模块，用于播放经人工智能计算自动生成的音乐；

带神经网络硬件加速器软核的FPGA模块，用于实现对所述显示模块、所述控制按键模块和所述音频解码模块的控制以及人工智能数据运算；所述FPGA模块搭载片上系统，所述片上系统包括基于指令集的架构的神经网络硬件加速器、数据调度模块和存储器，所述神经网络硬件加速器用于根据已搭建的神经网络模型进行运算，在运算过程中，所述数据调度模块将模型权重由所述存储器搬移至所述神经网络硬件加速器进行运算，得到运算结果后，将推理得到的音符对应的音频波形数据从存储器搬移至音频解码模块进行播放。

进一步地，所述片上系统使用软核CPU作为控制器，使用DDR3SDRAM和TF卡作为存储器，通过音频CODEC芯片实现音频解码，且搭载有通用异步收发传输器UART、串行外设接口SPI、I2C、I2S、DDR3SDRAM控制器，并利用AHB总线进行连接。

进一步地，所述片上系统通过UART接口进行与上位机的通信以及打印log信息，通过SPI接口实现TF卡的读写，并通过I2C接口和I2S接口对音频CODEC芯片进行配置和数据传输。

进一步地，所述片上系统使用TF卡获得所述神经网络模型训练后得到的数据以及音符对应的音频波形数据，并在所述片上系统启动时被DDR3 SDRAM读取，所述神经网络模型中不同类型的权重按规则储存在TF卡和DDR3 SDRAM对应的地址，用户程序需要根据此地址控制所述神经网络硬件加速器实现权重的搬移。

进一步地，所述神经网络硬件加速器能够通过CPU在总线上写寄存器的方式接收来自用户程序的指令，并按照指令进行存储器读写访问操作、片内专用缓存操作和运算资源模块操作。

进一步地，所述数据流调度模块能够通过CPU在总线上写寄存器的方式接收来自用户程序的指令，并按照指令配置片外存储器与片内模块和片内缓存间的数据调度。